O aviso read.csv 'EOF dentro da cadeia de caracteres citada' impede a leitura completa do arquivo


125

Eu tenho um arquivo CSV (24,1 MB) que não consigo ler completamente na minha sessão de R. Quando abro o arquivo em um programa de planilha, vejo 112.544 linhas. Quando o leio no R, read.csvrecebo apenas 56.952 linhas e este aviso:

cit <- read.csv("citations.CSV", row.names = NULL, 
                comment.char = "", header = TRUE, 
                stringsAsFactors = FALSE,  
                colClasses= "character", encoding= "utf-8")

Warning message:
In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings,  :
  EOF within quoted string

Eu posso ler o arquivo inteiro no R com readLines:

rl <- readLines(file("citations.CSV", encoding = "utf-8"))
length(rl)
[1] 112545

Mas não consigo colocar isso de volta no R como uma tabela (via read.csv):

write.table(rl, "rl.txt", quote = FALSE, row.names = FALSE)
rl_in <- read.csv("rl.txt", skip = 1, row.names = NULL)

Warning message:
In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings,  :
  EOF within quoted string

Como posso resolver ou solucionar essa mensagem EOF (que parece ser mais um erro do que um aviso) para colocar o arquivo inteiro na minha Rsessão?

Tenho problemas semelhantes com outros métodos de leitura de arquivos CSV:

require(sqldf)
cit_sql <- read.csv.sql("citations.CSV", sql = "select * from file")
require(data.table)
cit_dt <- fread("citations.CSV")
require(ff)
cit_ff <- read.csv.ffdf(file="citations.CSV")

Aqui está a minha sessionInfo ()

R version 3.0.1 (2013-05-16)
Platform: x86_64-w64-mingw32/x64 (64-bit)

locale:
[1] LC_COLLATE=English_United States.1252  LC_CTYPE=English_United States.1252   
[3] LC_MONETARY=English_United States.1252 LC_NUMERIC=C                          
[5] LC_TIME=English_United States.1252    

attached base packages:
[1] tools     tcltk     stats     graphics  grDevices utils     datasets  methods   base     

other attached packages:
 [1] ff_2.2-11             bit_1.1-10            data.table_1.8.8      sqldf_0.4-6.4        
 [5] RSQLite.extfuns_0.0.1 RSQLite_0.11.4        chron_2.3-43          gsubfn_0.6-5         
 [9] proto_0.3-10          DBI_0.2-7   

Respostas:


197

Você precisa desativar a citação.

cit <- read.csv("citations.CSV", quote = "", 
                 row.names = NULL, 
                 stringsAsFactors = FALSE)

str(cit)
## 'data.frame':    112543 obs. of  13 variables:
##  $ row.names    : chr  "10.2307/675394" "10.2307/30007362" "10.2307/4254931" "10.2307/20537934" ...
##  $ id           : chr  "10.2307/675394\t" "10.2307/30007362\t" "10.2307/4254931\t" "10.2307/20537934\t" ...
##  $ doi          : chr  "Archaeological Inference and Inductive Confirmation\t" "Sound and Sense in Cath Almaine\t" "Oak Galls Preserved by the Eruption of Mount Vesuvius in A.D. 79_ and Their Probable Use\t" "The Arts Four Thousand Years Ago\t" ...
##  $ title        : chr  "Bruce D. Smith\t" "Tomás Ó Cathasaigh\t" "Hiram G. Larew\t" "\t" ...
##  $ author       : chr  "American Anthropologist\t" "Ériu\t" "Economic Botany\t" "The Illustrated Magazine of Art\t" ...
##  $ journaltitle : chr  "79\t" "54\t" "41\t" "1\t" ...
##  $ volume       : chr  "3\t" "\t" "1\t" "3\t" ...
##  $ issue        : chr  "1977-09-01T00:00:00Z\t" "2004-01-01T00:00:00Z\t" "1987-01-01T00:00:00Z\t" "1853-01-01T00:00:00Z\t" ...
##  $ pubdate      : chr  "pp. 598-617\t" "pp. 41-47\t" "pp. 33-40\t" "pp. 171-172\t" ...
##  $ pagerange    : chr  "American Anthropological Association\tWiley\t" "Royal Irish Academy\t" "New York Botanical Garden Press\tSpringer\t" "\t" ...
##  $ publisher    : chr  "fla\t" "fla\t" "fla\t" "fla\t" ...
##  $ type         : logi  NA NA NA NA NA NA ...
##  $ reviewed.work: logi  NA NA NA NA NA NA ...

Eu acho que é por causa desse tipo de linha (verifique "Thorn" e "Minus")

 readLines("citations.CSV")[82]
[1] "10.2307/3642839,10.2307/3642839\t,\"Thorn\" and \"Minus\" in Hieroglyphic Luvian Orthography\t,H. Craig Melchert\t,Anatolian Studies\t,38\t,\t,1988-01-01T00:00:00Z\t,pp. 29-42\t,British Institute at Ankara\t,fla\t,\t,"

Obrigado, é uma solução fácil. Agora, o que você acha de começar a freadtrabalhar nessa situação? Eu prefiro isso porque é muito mais rápido que read.csv. Mas freadnão parece ter uma quotediscussão ..
Ben

1
@ Ben Eu tentei fazê-lo funcionar também sem sucesso e, como você apontou fread, não funciona muito bem com aspas incorporadas em geral, mas tenho certeza de que haverá uma solução alternativa em breve. stackoverflow.com/questions/16094025/…
dickoa

1
Eu tinha 7.000 linhas quando usei write.csv()e estava recebendo 403 de volta read.csv(). A adição de quote = "" me levou a 410 linhas. read.table()não melhora. Eu me pergunto o que mais pode ser tentado ...
Hack-R

2
Mesmo problema que o Hack-R, a adição de quote = "" aumentou meu número de linhas em 30.000, mas ainda estou perdendo mais de 200.000.
SJDS 5/05

1
Você poderia escrever uma linha do motivo pelo qual precisa adicioná-lo. (Eu sou um programador Python tentando aprender R). Caso contrário, a resposta é perfeita (+1)
Bhargav Rao

10

Eu sou um usuário novato em R e pensei em publicar isso, caso isso ajude outras pessoas. Eu estava tentando ler dados de um arquivo de texto (separado por vírgulas) que incluía alguns caracteres em espanhol e demorei uma eternidade para descobrir. Eu sabia que precisava usar a codificação UTF-8, definir o cabeçalho arg como TRUE, e que eu precisava definir o sep argumentemnt como ",", mas ainda assim tive problemas. Depois de ler este post , tentei definir o argumento de preenchimento como VERDADEIRO, mas obtive o mesmo "EOF dentro da cadeia de caracteres citada" que consegui corrigir da mesma maneira que acima. Minha tabela read.table bem-sucedida é assim:

target <- read.table("target2.txt", fill=TRUE, header=TRUE, quote="", sep=",", encoding="UTF-8")

O resultado tem caracteres em espanhol e as mesmas tonalidades que eu tinha originalmente, então estou chamando de sucesso! Obrigado a todos!


6

Na seção de ajuda do R, como indicado acima, apenas desabilite a citação por completo, simplesmente adicionando:

    quote = "" 

para o read.csv () funcionou para mim.

O erro "EOF dentro da cadeia de caracteres citada" ocorreu com:

    > iproscan.53A.neg     = read.csv("interproscan.53A.neg.n.csv",
    +                        colClasses=c(pb.id      = "character",
    +                                     genLoc     = "character",
    +                                     icode      = "character",
    +                                     length     = "character",
    +                                     proteinDB  = "character",
    +                                     protein.id = "character",
    +                                     prot.desc  = "character",
    +                                     start      = "character",
    +                                     end        = "character",
    +                                     evalue     = "character",
    +                                     tchar      = "character",
    +                                     date       = "character",
    +                                     ipro.id    = "character",
    +                                     prot.name  = "character",
    +                                     go.cat     = "character",
    +                                     reactome.id= "character"),
    +                                     as.is=T,header=F)
    Warning message:
    In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings,  :
      EOF within quoted string
    > dim(iproscan.53A.neg)
    [1] 69383    16

E o arquivo lido estava faltando 6.619 linhas. Mas desativando a citação

    > iproscan.53A.neg     = read.csv("interproscan.53A.neg.n.csv",
    +                        colClasses=c(pb.id      = "character",
    +                                     genLoc     = "character",
    +                                     icode      = "character",
    +                                     length     = "character",
    +                                     proteinDB  = "character",
    +                                     protein.id = "character",
    +                                     prot.desc  = "character",
    +                                     start      = "character",
    +                                     end        = "character",
    +                                     evalue     = "character",
    +                                     tchar      = "character",
    +                                     date       = "character",
    +                                     ipro.id    = "character",
    +                                     prot.name  = "character",
    +                                     go.cat     = "character",
    +                                     reactome.id= "character"),
    +                                     as.is=T,header=F,**quote=""**)    
    > 
    > dim(iproscan.53A.neg)
    [1] 76002    16

Funcionou sem erros e todas as linhas foram lidas com êxito.


4
Você está repetindo uma resposta anterior e, em seguida, prejudicando sua utilidade pela adição de asteriscos duplos de flanco desnecessários dentro do bloco de código.
IRTFM

3

Também encontrei esse problema e consegui solucionar um erro semelhante de EOF usando:

read.table("....csv", sep=",", ...)

Observe que o parâmetro separador é definido dentro do mais geral read.table().


2
Oi, isso não funciona para mim ... Recebi um erro Erro em read.table (". Csv",: mais colunas do que nomes de colunas - parece que pular (skip = 6) não funciona corretamente ...
Maycca

3

Na verdade, usar read.csv()para ler um arquivo com conteúdo de texto não é uma boa ideia, desabilite a cotação, pois o conjunto quote=""é apenas uma solução temporária, funcionou apenas com aspas separadas. Há outros motivos para causar o aviso, como alguns caracteres especiais.

A solução permanente (usando read.csv()), descobrir quais são esses caracteres especiais e usar uma expressão regular para eliminá-los é uma ideia.

Você já pensou em instalar o pacote {data.table}e usar fread()para ler o arquivo. é muito mais rápido e não o incomodaria com esse aviso de EOF. Observe que o arquivo carregado será armazenado como um objeto data.table, mas não como um objeto data.frame. A classe data.table possui muitos recursos bons, mas de qualquer maneira, você pode transformá-lo usando, as.data.frame()se necessário.


2

Eu tive o problema semelhante: aviso de EOF e apenas parte dos dados estava carregando com read.csv (). Tentei as aspas = "", mas ele apenas removeu o aviso de EOF.

Mas, olhando para a primeira linha que não estava carregando, descobri que havia um caractere especial, uma seta → (valor hexadecimal 0x1A) em uma das células. Depois de excluir a seta, os dados foram carregados normalmente.


1
mesmo problema, existe outra maneira de resolver isso, sem nenhuma intervenção manual?
Mohit

2

Eu também tive o problema semelhante. Mas no meu caso, a causa do problema ocorreu devido à presença de apóstrofos (ou seja, aspas simples) dentro de alguns valores do texto. Isso é especialmente freqüente ao trabalhar com dados, incluindo textos em francês, por exemplo, "L'autre jour".

Portanto, a solução foi simplesmente ajustar a configuração padrão do argumento de citação para excluir o símbolo «'» e, assim, usando quote = "\" " (ou seja, apenas aspas duplas ), tudo funcionou bem.

Espero que possa ajudar alguns de vocês. Felicidades.


0

O pacote readr corrigirá esse problema.

install.packages('readr')
library(readr)
readr::read_csv('yourfile.csv')
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.