Ruby on Rails - Importar dados de um arquivo CSV

Gostaria de importar dados de um arquivo CSV para uma tabela de banco de dados existente. Não quero salvar o arquivo CSV, basta pegar os dados e colocá-los na tabela existente. Estou usando o Ruby 1.9.2 e o Rails 3.

Esta é a minha mesa:

create_table "mouldings", :force => true do |t|
  t.string   "suppliers_code"
  t.datetime "created_at"
  t.datetime "updated_at"
  t.string   "name"
  t.integer  "supplier_id"
  t.decimal  "length",         :precision => 3, :scale => 2
  t.decimal  "cost",           :precision => 4, :scale => 2
  t.integer  "width"
  t.integer  "depth"
end

Você pode me dar algum código para me mostrar a melhor maneira de fazer isso, obrigado.

require 'csv'    

csv_text = File.read('...')
csv = CSV.parse(csv_text, :headers => true)
csv.each do |row|
  Moulding.create!(row.to_hash)
end

Versão mais simples da resposta de yfeldblum, que é mais simples e funciona bem também com arquivos grandes:

require 'csv'    

CSV.foreach(filename, :headers => true) do |row|
  Moulding.create!(row.to_hash)
end

Não há necessidade de with_indifferent_access ou symbolize_keys e não há necessidade de ler o arquivo em uma sequência primeiro.

Ele não mantém o arquivo inteiro na memória de uma só vez, mas lê linha por linha e cria um Molding por linha.

A smarter_csvgem foi criada especificamente para este caso de uso: para ler dados do arquivo CSV e criar rapidamente entradas do banco de dados.

  require 'smarter_csv'
  options = {}
  SmarterCSV.process('input_file.csv', options) do |chunk|
    chunk.each do |data_hash|
      Moulding.create!( data_hash )
    end
  end

Você pode usar a opção chunk_sizede ler N linhas CSV por vez e, em seguida, usar Resque no loop interno para gerar tarefas que criarão os novos registros, em vez de criá-los imediatamente - dessa forma, você pode espalhar a carga de gerar entradas para vários trabalhadores.

Veja também: https://github.com/tilo/smarter_csv

Você pode tentar Upsert:

require 'upsert' # add this to your Gemfile
require 'csv'    

u = Upsert.new Moulding.connection, Moulding.table_name
CSV.foreach(file, headers: true) do |row|
  selector = { name: row['name'] } # this treats "name" as the primary key and prevents the creation of duplicates by name
  setter = row.to_hash
  u.row selector, setter
end

Se é isso que você deseja, considere também livrar-se da chave primária de incremento automático da tabela e definir a chave primária como name. Como alternativa, se houver alguma combinação de atributos que formam uma chave primária, use-a como seletor. Nenhum índice é necessário, apenas o tornará mais rápido.

Isso pode ajudar. Também tem exemplos de código:

http://csv-mapper.rubyforge.org/

Ou para uma tarefa de rake por fazer o mesmo:

http://erikonrails.snowedin.net/?p=212

É melhor agrupar o processo relacionado ao banco de dados dentro de um transactionbloco. O sopro do snippet de código é um processo completo de propagação de um conjunto de idiomas para o modelo de idioma,

require 'csv'

namespace :lan do
  desc 'Seed initial languages data with language & code'
  task init_data: :environment do
    puts '>>> Initializing Languages Data Table'
    ActiveRecord::Base.transaction do
      csv_path = File.expand_path('languages.csv', File.dirname(__FILE__))
      csv_str = File.read(csv_path)
      csv = CSV.new(csv_str).to_a
      csv.each do |lan_set|
        lan_code = lan_set[0]
        lan_str = lan_set[1]
        Language.create!(language: lan_str, code: lan_code)
        print '.'
      end
    end
    puts ''
    puts '>>> Languages Database Table Initialization Completed'
  end
end

O fragmento abaixo é uma parte do languages.csvarquivo,

aa,Afar
ab,Abkhazian
af,Afrikaans
ak,Akan
am,Amharic
ar,Arabic
as,Assamese
ay,Aymara
az,Azerbaijani
ba,Bashkir
...

Use esta gema: https://rubygems.org/gems/active_record_importer

class Moulding < ActiveRecord::Base
  acts_as_importable
end

Agora você pode usar:

Moulding.import!(file: File.open(PATH_TO_FILE))

Apenas certifique-se de que seus cabeçalhos correspondam aos nomes das colunas da sua tabela

A melhor maneira é incluí-lo em uma tarefa de rake. Crie o arquivo import.rake dentro de / lib / tasks / e coloque esse código nesse arquivo.

desc "Imports a CSV file into an ActiveRecord table"
task :csv_model_import, [:filename, :model] => [:environment] do |task,args|
  lines = File.new(args[:filename], "r:ISO-8859-1").readlines
  header = lines.shift.strip
  keys = header.split(',')
  lines.each do |line|
    values = line.strip.split(',')
    attributes = Hash[keys.zip values]
    Module.const_get(args[:model]).create(attributes)
  end
end

Depois disso, execute este comando no seu terminal rake csv_model_import[file.csv,Name_of_the_Model]

Eu sei que é pergunta antiga, mas ainda nos primeiros 10 links no google.

Não é muito eficiente salvar as linhas uma a uma, porque causa uma chamada ao banco de dados no loop e é melhor evitar isso, especialmente quando é necessário inserir grandes porções de dados.

É melhor (e significativamente mais rápido) usar a inserção em lote.

INSERT INTO `mouldings` (suppliers_code, name, cost)
VALUES
    ('s1', 'supplier1', 1.111), 
    ('s2', 'supplier2', '2.222')

Você pode criar essa consulta manualmente e, em seguida, fazer Model.connection.execute(RAW SQL STRING)(não recomendado) ou usar gem activerecord-import(foi lançado em 11 de agosto de 2010). Nesse caso, basta colocar os dados na matriz rowse chamarModel.import rows

consulte os documentos da gem para obter detalhes

É melhor usar CSV :: Table e usar String.encode(universal_newline: true). Ele converte CRLF e CR em LF

Se você deseja usar o SmartCSV

all_data = SmarterCSV.process(
             params[:file].tempfile, 
             { 
               :col_sep => "\t", 
               :row_sep => "\n" 
             }
           )

Isso representa dados delimitados por tabulação em cada linha "\t"com linhas separadas por novas linhas"\n"