Por que uma vírgula é um separador / delimitador de registro incorreto em arquivos CSV?

Eu estava lendo este artigo e estou curioso para saber a resposta adequada a essa pergunta.

A única coisa que me vem à cabeça é que talvez em alguns países o separador decimal seja uma vírgula e possa haver problemas ao compartilhar dados em CSV , mas não tenho certeza da minha resposta.

A especificação do formato CSV é definida na RFC 4180 . Esta especificação foi publicada porque

não existe especificação formal, o que permite uma grande variedade de interpretações de arquivos CSV

Infelizmente, desde 2005 (data de publicação da RFC), nada mudou. Ainda temos uma grande variedade de implementações. A abordagem geral definida na RFC 4180 é incluir campos que contenham caracteres como vírgulas entre aspas; no entanto, essa recomendação nem sempre é atendida por diferentes softwares.

O problema é que, em várias localidades européias, o caractere vírgula serve como ponto decimal; portanto, você escreve em 0,005vez de 0.005. No entanto, em outros casos, vírgulas são usadas em vez de espaços para sinalizar grupos de dígitos, por exemplo 4,000,000.00(veja aqui ). Nos dois casos, o uso de vírgulas possivelmente levaria a erros na leitura de dados de arquivos csv, porque o seu software realmente não sabe se 0,005, 0,1existem dois números ou quatro números diferentes (veja o exemplo aqui ).

Por último, mas não menos importante, se você armazenar texto em seu arquivo de dados, as vírgulas serão muito mais comuns no texto do que, por exemplo, ponto-e-vírgula; portanto, se o texto não estiver entre aspas, esses dados também poderão ser facilmente lidos com erros .

Nada melhora as vírgulas ou os separadores de campo piores , na medida em que os arquivos CSV são usados ​​de acordo com as recomendações da RFC 4180 que protegem os problemas descritos acima. No entanto, se houver o risco de usar o formato CSV simplificado que não inclua campos entre aspas ou se a recomendação puder ser usada de forma inconsistente, outros separadores (por exemplo, ponto e vírgula) parecerão uma abordagem mais segura.

Tecnicamente, vírgula é tão boa quanto qualquer outro caractere a ser usado como separador. O nome do formato refere-se diretamente a valores separados por vírgula (valores separados por vírgula).

A descrição do formato CSV está usando vírgula como separador.

Qualquer campo que contenha vírgula deve estar entre aspas duplas. Portanto, isso não causa problemas para a leitura de dados. Consulte o ponto 6 da descrição :

6. Os campos que contêm quebras de linha (CRLF), aspas duplas e vírgulas devem ser colocados entre aspas duplas.

Por exemplo, as funções read.csve write.csvde R por padrão estão usando vírgula como separador.

Além de ser um separador de dígitos em números, também faz parte do endereço (como endereço do cliente etc.) em muitos países. Enquanto alguns países têm endereços curtos e bem definidos, muitos outros têm endereços longos, incluindo, às vezes duas vírgulas na mesma linha. Arquivos CSV bons incluem todos esses dados entre aspas duplas. Mas analisadores muito simplistas e mal escritos não permitem ler e diferenciá-los. (Então, há o problema de usar aspas duplas como parte dos dados, como citações de um poema).

Enquanto a resposta do @Tim estiver correta - eu gostaria de acrescentar que "csv" como um todo não tem um padrão comum - especialmente as regras de escape não são definidas, levando a "formatos" que podem ser lidos em um programa, mas não em outro . Isso é exacerbado pelo fato de que todo "programador" sob o sol apenas pensa em "oooh csv- eu construirei meu próprio analisador!" e depois perde todos os casos extremos.

Além disso, o csv carece totalmente da capacidade de armazenar metadados ou mesmo o tipo de dados de uma coluna - levando a vários documentos que você deve ler para entender os dados.

Se você pode abandonar o delimitador de vírgula e usar um caractere de tabulação, terá muito mais sucesso. Você pode deixar o arquivo chamado .CSV e importar para a maioria dos programas geralmente não é um problema. Basta especificar delimitado por TAB em vez de vírgula ao importar seu arquivo. Se houver vírgulas em seus dados, você terá um problema ao especificar delimitado por vírgula, como você bem sabe.

O ASCII nos fornece quatro caracteres "separadores", como mostrado abaixo em um trecho da página do manual ascii (7) * nix:

   Oct   Dec   Hex   Char
   ----------------------
   034   28    1C    FS  (file separator)
   035   29    1D    GS  (group separator)
   036   30    1E    RS  (record separator)
   037   31    1F    US  (unit separator)

Esta resposta fornece uma visão geral decente do uso pretendido.

Certamente, esses códigos de controle carecem da facilidade humana (legibilidade e entrada) de delimitadores mais populares, mas são opções aceitáveis ​​para troca interna e / ou efêmera de dados entre programas.

O problema não é a vírgula; o problema está sendo citado. Independentemente de quais delimitadores de registro e campo você usa, você precisa estar preparado para encontrá-los no conteúdo. Então você precisa de um mecanismo de cotação. E ENTÃO você precisa de uma maneira para os caracteres entre aspas aparecerem também.

Seguir o padrão RFC 4180 torna tudo mais simples para todos.

Pessoalmente, tive que escrever um script para provavelmente corrigir a saída de um programa que entendeu errado, por isso sou um pouco militante. "provavelmente consertar" significa que funcionou para MEUS dados, mas posso ver situações em que eles falhariam. (Em defesa desse programa, ele foi escrito antes do padrão.)