Remover vírgula entre aspas apenas em um arquivo delimitado por vírgula

Eu tenho um arquivo de entrada delimitado por vírgulas ( ,). Existem alguns campos entre aspas duplas que possuem vírgula. Aqui está a linha de amostra

123,"ABC, DEV 23",345,534.202,NAME

Eu preciso remover todas as vírgulas que ocorrem dentro das aspas duplas e aspas duplas também. Portanto, a linha acima deve ser analisada conforme mostrado abaixo

123,ABC DEV 23,345,534.202,NAME

Eu tentei o seguinte usando, sedmas não dando os resultados esperados.

sed -e 's/\(".*\),\(".*\)/\1 \2/g'

Algum truque rápido com sed, awkou qualquer outro utilitário unix, por favor?

Se as aspas estiverem equilibradas, você deverá remover vírgulas entre todas as outras aspas, isso pode ser expresso da awkseguinte maneira:

awk -F'"' -v OFS='' '{ for (i=2; i<=NF; i+=2) gsub(",", "", $i) } 1' infile

Saída:

123,ABC DEV 23,345,534.202,NAME

Explicação

O -F"makes awk separa a linha nos sinais de aspas duplas, o que significa que todos os outros campos serão o texto entre aspas. O loop for é executado gsub, abreviação de substituto global, em todos os outros campos, substituindo vírgula ( ",") por nada ( ""). A 1no final invoca o código-padrão do bloco: { print $0 }.

Existe uma boa resposta, usando sed simplesmente uma vez com um loop :

echo '123,"ABC, DEV 23",345,534,"some more, comma-separated, words",202,NAME'|
  sed ':a;s/^\(\([^"]*,\?\|"[^",]*",\?\)*"[^",]*\),/\1 /;ta'
123,"ABC  DEV 23",345,534,"some more  comma-separated  words",202,NAME

Explicação:

• :a; é um rótulo para ramo mais furter
• s/^\(\([^"]*,\?\|"[^",]*",\?\)*"[^",]*\),/\1 / pode conter 3 partes fechadas
  • primeiro, o 2º: [^"]*,\?\|"[^",]*",\?corresponde a uma sequência que não contém aspas duplas, talvez seguida por um coma ou por uma delimitada por duas aspas duplas, sem coma e talvez seguida por um coma.
  • que a primeira parte do ER é composta por tantas repetições da parte 2 descrita anteriormente, seguidas por 1 aspas duplas e alguns caracteres, mas sem aspas duplas, nem vírgulas.
  • A primeira parte da ER a ser seguida por um coma.
  • Nota, o resto da linha não precisa ser tocado
• tafará um loop para :ase o s/comando anterior fez alguma alteração.

Uma solução geral que também pode manipular várias vírgulas entre aspas balanceadas precisa de uma substituição aninhada. Eu implementei uma solução em perl, que processa todas as linhas de uma determinada entrada e substitui vírgulas em todos os outros pares de aspas:

perl -pe 's/ "  (.+?  [^\\])  "               # find all non escaped 
                                              # quoting pairs
                                              # in a non-greedy way

           / ($ret = $1) =~ (s#,##g);         # remove all commas within quotes
             $ret                             # substitute the substitution :)
           /gex'

ou em suma

perl -pe 's/"(.+?[^\\])"/($ret = $1) =~ (s#,##g); $ret/ge'

Você pode canalizar o texto que deseja processar para o comando ou especificar o arquivo de texto a ser processado como o último argumento da linha de comandos.

Eu usaria um idioma com um analisador CSV adequado. Por exemplo:

ruby -r csv -ne '
  CSV.parse($_) do |row|
    newrow = CSV::Row.new [], []
    row.each {|field| newrow << field.delete(",")}
    puts newrow.to_csv
  end
' < input_file

Suas segundas citações estão fora de lugar:

sed -e 's/\(".*\),\(.*"\)/\1 \2/g'

Além disso, o uso de expressões regulares tende a corresponder à parte mais longa possível do texto, o que significa que isso não funcionará se você tiver mais de um campo entre aspas na sequência.

Uma maneira de lidar com vários campos citados no sed

sed -e 's/\(\"[^",]\+\),\([^",]*\)/\1 \2/g' -e 's/\"//g'

Essa também é uma maneira de resolver isso, no entanto, com entradas que podem conter mais de uma vírgula por campo citado, a primeira expressão no sed precisaria ser repetida tantas vezes quanto o conteúdo máximo de vírgula em um único campo ou até que não altera a saída.

A execução de sed com mais de uma expressão deve ser mais eficiente do que vários processos sed em execução e um "tr" em execução com tubos abertos.

No entanto, isso pode ter consequências indesejadas se a entrada não estiver formatada corretamente. ou seja, aspas aninhadas, aspas não terminadas.

Usando o exemplo em execução:

echo '123,"ABC, DEV 23",345,534,"some more, comma-separated, words",202,NAME' \
| sed -e 's/\(\"[^",]\+\),\([^",]*\)/\1 \2/g' \
-e 's/\(\"[^",]\+\),\([^",]*\)/\1 \2/g' -e 's/\"//g'

Saída:

123,ABC  DEV 23,345,534,some more  comma-separated  words,202,NAME

No perl - você pode usar Text::CSVpara analisar isso e fazê-lo trivialmente:

#!/usr/bin/env perl
use strict;
use warnings;

use Text::CSV; 

my $csv = Text::CSV -> new();

while ( my $row = $csv -> getline ( \*STDIN ) ) {
    #remove commas in each field in the row
    $_ =~ s/,//g for @$row;
    #print it - use print and join, rather than csv output because quotes. 
    print join ( ",", @$row ),"\n";
}

Você pode imprimir com Text::CSVmas tende a preservar aspas, se o fizer. (Embora, eu sugiro - em vez de retirar aspas para sua saída, você pode simplesmente analisar usando Text::CSVem primeiro lugar).

Eu criei uma função para percorrer todos os caracteres da string.
Se o caractere for uma cotação, a verificação (b_in_qt) será marcada como verdadeira.
Enquanto b_in_qt for verdadeiro, todas as vírgulas são substituídas por um espaço.
b_in_qt é definido como false quando a próxima vírgula é encontrada.

FUNCTION f_replace_c (str_in  VARCHAR2) RETURN VARCHAR2 IS
str_out     varchar2(1000)  := null;
str_chr     varchar2(1)     := null;
b_in_qt     boolean         := false;

BEGIN
    FOR x IN 1..length(str_in) LOOP
      str_chr := substr(str_in,x,1);
      IF str_chr = '"' THEN
        if b_in_qt then
            b_in_qt := false;
        else
            b_in_qt := true;
        end if;
      END IF;
      IF b_in_qt THEN
        if str_chr = ',' then
            str_chr := ' ';
        end if;
      END IF;
    str_out := str_out || str_chr;
    END LOOP;
RETURN str_out;
END;

str_in := f_replace_c ("blue","cat,dog,horse","",yellow,"green")

RESULTS
  "blue","cat dog horse","",yellow,"green"