ARで一度のsaveにINSERTとUPDATEが一度ずつ発行される謎

ActiveRecordを使って大量のデータをSAVEすることに。

CSVからデータを読み込んで一行ずつ分析してデータを投入したんだけど、
これが非常に遅い。

CSVの読み出しにはFasterCSVを利用しているので、
こっちの方は遅くない。

約600件のレコードを作るCSVを流し込んでみて、
データを作成しないで行をチェックするだけのメソッドでは、
レンダリングも含めて0．2秒。
データを投入する方では、なんと143秒もかかってる。
（Developmentモード）

ログを見てみると、一つのレコードに対してinsertとupdateが1回ずつ走ってる。
なんで？

やっていることは、
CSVの解析ループで1セル毎に一つオブジェクトをnewして配列に追加、
（このときSAVEはしない。CREATEでもない）
ループ終わり配列をループで回して、
関連オブジェクトのIDを入力してからSAVEをしているだけ。
SAVEは1回しかしてないのに。

最終的には1万レコードの追加が普通になりそうなので、
ちょっと気が遠くなってきた。

件数が多いのでちょっとしたチューニングでも結構大きな差になりそうなのに。
なんかいいちえないですかねえ。

select_datetimeのコントローラーでのTimeオブジェクト生成

あ～、わからん。

どっかに非常に簡単な答えがありそうなのに見つからない。

ActionHelper::select_datetimeで送ったパラメータの処理である。

datetime_select classname, attributename
でパラメータを送って、
受けるコントローラで普通にインスタンス変数に送り込んでやればきちんとTimeオブジェクトのインスタンスになるのに、select_datetimeの場合はどうしていいかわからん。

送られてくるのは、HashWithIndifferentAccessインスタンスなので、普通に代入してもだめ。
Time.nowやTime.localでやってみるもだめ。

仕方がないので、ハッシュをばらしてTime.localに食わせることに。

こんな感じ

view
 <%= select_datetime hogetime, :prefix=>'hoge' %>
  controller
 @hogetime = Time.local(params[:hoge][:year].to_i, 
                       params[:hoge][:month].to_i, 
                       params[:hoge][:day].to_i, 
                       params[:hoge][:hour].to_i, 
                       params[:hoge][:minute].to_i, 
                       params[:hoge][:second].to_i)
 

あ～、スマートさがない。

Windows環境のTime.localでエポックタイム以前がエラーに

アンケートを収集するプログラムを作成中のこと。
日時を入力する設問を作ってみた。

パラメータで年月日時分秒を渡して、Timeオブジェクトを作成する。
モデルクラスの中で日付の正当性チェックするために、ArgumentErrorをrescueして、引っかかったら再入力させるように実装。

テストで、誕生日を聞く設問を作って、自分の誕生日を入れてみると、ArgumentErrorが発生して再入力を促される。
ちなみに1969年の生まれなんだけど、1970以降を入れてみるとOK

むむ？と思ってirbを立ち上げて、Time.localで試しに1969年以前を作ろうとすると、同じくtime out of rangeが返ってくる。
どうやらエポックタイム以前を入力するとout of rangeが返ってくるらしい。
ちなみに環境はWindowsXP Home。rubyのバージョンは1.86。

試しにLinuxのirbでやってみると、こっちはエラーが返ってこない。
一寸調べてみるも、謎のまま。

まあ、本番環境なら問題ないならいいか、とこの問題は後回しにする。

DateTimeクラスなら大丈夫かと思ってやってみたらこっちは大丈夫。
DateTimeが推奨なのかしらん。

パラメータのエンコードでハマる。

先日書いたエントリで、パラメータに配列やハッシュを格納する方法を書いた。
で、複雑な使い方をしたら、日本語のエンコードでハマった。

barを生成する情報を持つhogeインスタンスの配列からチェックボックスで選択して追加しようとする。

view

<% index = 0%>
<% hoges.each do |hoge| %>
  <%= check_box_tag "index[]", index %>
  <%= hidden_field_tag "hoge[][fuga]", hoge.fuga %>
  <%= hidden_field_tag "hoge[][piyo]", hoge.piyo %>
<% end %>
<%= link_to_remote "チェックしたHogeを加える", 
                   :update=>'hoge_column', 
                   :submit=>'hoge_colunm, 
                   :url=>{:contoller=>'bar', :action=>'add_bar' } %>

controller

def add_bar
  if params[:index]
    params[:index].each do |index|
      bar = Bar.new
      bar.fuga = params[:hoge][index.to_i][:fuga]
      bar.piyo = params[:hoge][index.to_i][:piyo]
    end
  end
end

と、こんな風にしてみた。
実際にはもうちょっと複雑だけど。

で、このパラメータに日本語が入ったときにエンコード問題が。

いろいろ試行錯誤してみた。

上の例でいうと、hoge.fugaが「動画共有」だったとすると、
コントローラでparams[:hoge][index.to_i][:fuga]をみると、
%25E5%258B%2595%25E7%2594%25BB%25E5%2585%25B1%25E6%259C%2589

む、これはURLエンコードがデコードされてないな、と思って、
URI.decode(params[:hoge][index.to_i][:fuga])してみると、
%E5%8B%95%E7%94%BB%E5%85%B1%E6%9C%89

ええ～！？
で、もしかすると、と思い、さらにデコードしてみる。
URI.decode(URI.decode(params[:hoge][index.to_i][:fuga]))
動画共有

うむむ…何で2回もエンコードされてるんだ？orz