Como copiar do arquivo CSV para a tabela PostgreSQL com cabeçalhos no arquivo CSV?

Quero copiar um arquivo CSV para uma tabela Postgres. Existem cerca de 100 colunas nesta tabela, então não quero reescrevê-las se não for necessário.

Estou usando o \copy table from 'table.csv' delimiter ',' csv;comando, mas sem uma tabela criada eu consigo ERROR: relation "table" does not exist. Se eu adicionar uma tabela em branco, não recebo nenhum erro, mas nada acontece. Tentei este comando duas ou três vezes e não houve saída ou mensagens, mas a tabela não foi atualizada quando a verifiquei através do PGAdmin.

Existe uma maneira de importar uma tabela com cabeçalhos incluídos como estou tentando fazer?

Isso funcionou. A primeira linha continha nomes de colunas.

COPY wheat FROM 'wheat_crop_data.csv' DELIMITER ';' CSV HEADER

Com a biblioteca Python pandas, você pode criar facilmente nomes de coluna e inferir tipos de dados de um arquivo csv.

from sqlalchemy import create_engine
import pandas as pd

engine = create_engine('postgresql://user:pass@localhost/db_name')
df = pd.read_csv('/path/to/csv_file')
df.to_sql('pandas_db', engine)

O if_existsparâmetro pode ser definido para substituir ou anexar a uma tabela existente, por exemplo df.to_sql('pandas_db', engine, if_exists='replace'). Isso também funciona para tipos de arquivo de entrada adicionais, documentos aqui e aqui .

Alternativa por terminal sem permissão

A documentação da página em NOTES diz

O caminho será interpretado em relação ao diretório de trabalho do processo do servidor (normalmente o diretório de dados do cluster), não ao diretório de trabalho do cliente.

Então, geralmente, usando psqlou qualquer cliente, mesmo em um servidor local, você tem problemas ... E, se você está expressando comando COPY para outros usuários, por exemplo. em um README do Github, o leitor terá problemas ...

A única maneira de expressar caminho relativo com as permissões do cliente é usando STDIN ,

Quando STDIN ou STDOUT é especificado, os dados são transmitidos por meio da conexão entre o cliente e o servidor.

como lembrado aqui :

psql -h remotehost -d remote_mydb -U myuser -c \
   "copy mytable (column1, column2) from STDIN with delimiter as ','" \
   < ./relative_path/file.csv

Eu uso esta função há algum tempo sem problemas. Você só precisa fornecer as colunas numéricas que existem no arquivo csv, e ele pegará os nomes dos cabeçalhos da primeira linha e criará a tabela para você:

create or replace function data.load_csv_file
    (
        target_table  text, -- name of the table that will be created
        csv_file_path text,
        col_count     integer
    )

    returns void

as $$

declare
    iter      integer; -- dummy integer to iterate columns with
    col       text; -- to keep column names in each iteration
    col_first text; -- first column name, e.g., top left corner on a csv file or spreadsheet

begin
    set schema 'data';

    create table temp_table ();

    -- add just enough number of columns
    for iter in 1..col_count
    loop
        execute format ('alter table temp_table add column col_%s text;', iter);
    end loop;

    -- copy the data from csv file
    execute format ('copy temp_table from %L with delimiter '','' quote ''"'' csv ', csv_file_path);

    iter := 1;
    col_first := (select col_1
                  from temp_table
                  limit 1);

    -- update the column names based on the first row which has the column names
    for col in execute format ('select unnest(string_to_array(trim(temp_table::text, ''()''), '','')) from temp_table where col_1 = %L', col_first)
    loop
        execute format ('alter table temp_table rename column col_%s to %s', iter, col);
        iter := iter + 1;
    end loop;

    -- delete the columns row // using quote_ident or %I does not work here!?
    execute format ('delete from temp_table where %s = %L', col_first, col_first);

    -- change the temp table name to the name given as parameter, if not blank
    if length (target_table) > 0 then
        execute format ('alter table temp_table rename to %I', target_table);
    end if;
end;

$$ language plpgsql;

Você pode usar o d6tstack, que cria a tabela para você e é mais rápido do que pd.to_sql () porque usa comandos de importação de banco de dados nativos. Suporta Postgres, MYSQL e MS SQL.

import pandas as pd
df = pd.read_csv('table.csv')
uri_psql = 'postgresql+psycopg2://usr:pwd@localhost/db'
d6tstack.utils.pd_to_psql(df, uri_psql, 'table')

Também é útil para importar vários CSVs, resolver alterações de esquema de dados e / ou pré-processar com pandas (por exemplo, para datas) antes de gravar no banco de dados, veja mais abaixo no caderno de exemplos

d6tstack.combine_csv.CombinerCSV(glob.glob('*.csv'), 
    apply_after_read=apply_fun).to_psql_combine(uri_psql, 'table')