Estou removendo palavras de parada de um texto, usando aproximadamente este código

Eu tenho o seguinte

$ cat file
file
types
extensions

$ cat stopwords
i
file
types

grep -vwFf stopwords file

Estou esperando o resultado: extensions

mas recebo o (acho incorreto)

file
extensions

É como se a palavra filetivesse sido ignorada no arquivo de palavras irrelevantes. Agora aqui é a parte legal: se eu modificar o arquivo de stopwords, mudando a palavra / única letra ina primeira linha, para qualquer outra letra ascii para além de f, i, l, e, em seguida, o mesmo comando grep me dá um resultado diferente e correcta extensions.

O que está acontecendo aqui e como corrigi-lo?

Estou usando o grep (BSD grep) 2.5.1-FreeBSD em um Mac OSX GNU bash, versão 4.4.12 (1)

Isso foi um problema bsdgrep, relacionado a uma variável que rastreia a parte da linha atual ainda a ser varrida e substituída por chamadas sucessivas ao mecanismo de correspondência de expressões regulares quando vários padrões estão envolvidos.

correção local

Você pode contornar isso até certo ponto, não usando a -wopção, que depende dessa variável para a operação correta e, portanto, está falhando, mas usando as extensões de expressão regular que correspondem ao início e ao final das palavras, fazendo com que seu stopwordsarquivo se pareça com:

\ <i \>
\ <arquivo \>
\ <tipos \>

Esta solução alternativa também exigirá que você não use a -Fopção

Observe que os componentes de expressão regular documentados[[:<:]] e [[:>:]]que o re_formatmanual informa não funcionarão aqui. Isso ocorre porque a biblioteca de expressões regulares compilada bsdgreptem o suporte à compatibilidade de expressões regulares GNU ativado. Este é outro bug, que foi consertado.

correção de serviço

Este bug foi corrigido no início deste ano. A correção ainda não chegou aos sabores STABLE ou RELEASE do FreeBSD, mas está em ATUALIZAÇÃO.

Para colocar isso na versão MacOS grepderivada do FreeBSD bsdgrep, consulte a Apple. ☺

Leitura adicional

• Jonathan de Boyne Pollard (15/10/2017). O bsdgrep se comporta incorretamente quando recebe vários padrões . Bug # 223031. Bugzilla do FreeBSD.
• Kyle Evans (03-04-2017). bsdgrep: corrige o comportamento de correspondência . Revisão 316477. Fonte do FreeBSD.
• Kyle Evans (02-05-2017). bsdgrep: corrige -w -v correspondendo incorretamente a certos padrões . Revisão 317665. Fonte do FreeBSD.
• Nathan Weeks (16/06/2014). grep (1) e bsdgrep (1) não reconhecem [[: <:]] e [[:>:]] . Bug # 191086. Bugzilla do FreeBSD.

Este código:

pl " Input data file data1 and stopwords file data2:"
head data1 data2

pl " Expected output:"
cat $E

pl " Results, grep:"
# grep -vwFf stopwords file
grep -vwFf data2 data1

pl " Results, cgrep:"
cgrep -x1 -vFf data2 data1

produz:

-----
 Input data file data1 and stopwords file data2:
==> data1 <==
file
types
extensions

==> data2 <==
i
file
types

-----
 Expected output:
extensions

-----
 Results, grep:
file
extensions

-----
 Results, cgrep:
extensions

Em um sistema como:

OS, ker|rel, machine: Apple/BSD, Darwin 16.7.0, x86_64
Distribution        : macOS 10.12.6 (16G29), Sierra
bash GNU bash 3.2.57

Mais detalhes sobre o cgrep, disponível via brew e no sourceforge:

cgrep   shows context of matching patterns found in files (man)
Path    : ~/executable/cgrep
Version : 8.15
Type    : Mach-O64-bitexecutablex86_64 ...)
Home    : http://sourceforge.net/projects/cgrep/ (doc)

Saúde, drl