Linux: Como usar um arquivo como entrada e saída ao mesmo tempo?

Acabei de executar o seguinte no bash:

uniq .bash_history > .bash_history

e meu arquivo de histórico acabou completamente vazio.

Acho que preciso de uma maneira de ler o arquivo inteiro antes de escrever nele. Como isso é feito?

PS: Obviamente, pensei em usar um arquivo temporário, mas estou procurando uma solução mais elegante.

Eu recomendo usar spongefrom moreutils . Na página de manual:

DESCRIPTION
  sponge  reads  standard  input  and writes it out to the specified file. Unlike
  a shell redirect, sponge soaks up all its input before opening the output file.
  This allows for constructing pipelines that read from and write to the same 
  file.

Para aplicar isso ao seu problema, tente:

uniq .bash_history | sponge .bash_history

Eu só queria contribuir com outra resposta que seja simples e não use esponja (porque geralmente não é incluída em ambientes leves).

echo "$(uniq .bash_history)" > .bash_history

deve ter o resultado desejado. O subshell é executado antes que o .bash_history seja aberto para gravação. Conforme explicado na resposta de Phil P, no momento em que .bash_history é lido no comando original, ele já foi truncado pelo operador '>'.

O problema é que seu shell está configurando o pipeline de comandos antes de executar os comandos. Não se trata de "entrada e saída", é que o conteúdo do arquivo já desapareceu antes da execução do uniq. É algo como:

1. O shell abre o >arquivo de saída para gravação, truncando-o
2. O shell é configurado para que o descritor de arquivo 1 (para stdout) seja usado para essa saída
3. O shell executa uniq, talvez algo como execlp ("uniq", "uniq", ".bash_history", NULL)
4. O uniq roda, abre .bash_history e não encontra nada lá

Existem várias soluções, incluindo a edição no local e o uso temporário de arquivos que outros mencionam, mas a chave é entender o problema, o que realmente está errado e o porquê.

Outro truque para fazer isso, sem usar sponge, é o seguinte comando:

{ rm .bash_history && uniq > .bash_history; } < .bash_history

Esse é um dos truques descritos no excelente artigo "Edição no local" de arquivos em backreference.org.

Basicamente, ele abre o arquivo para leitura e depois o "remove". Porém, ele não é realmente removido: existe um descritor de arquivo aberto apontando para ele e, enquanto ele permanecer aberto, o arquivo ainda está por aí. Em seguida, ele cria um novo arquivo com o mesmo nome e grava as linhas exclusivas nele.

Desvantagem desta solução: se uniqfalhar por algum motivo, seu histórico desaparecerá.

use esponja de moreutils

uniq .bash_history | sponge .bash_history

Este sedscript remove duplicatas adjacentes. Com a -iopção, ele faz a modificação no local. É do sed infoarquivo:

sed -i 'h;:b;$b;N;/^\(.*\)\n\1$/ {g;bb};$b;P;D' .bash_history

Como um boato interessante, o sed também usa um arquivo temporário (isso serve apenas para você):

$ strace sed -i 's/foo/bar/g' foo    
open("foo", O_RDONLY|O_LARGEFILE)       = 3
...
open("./sedPmPv9z", O_RDWR|O_CREAT|O_EXCL|O_LARGEFILE, 0600) = 4
...
read(3, "foo\n"..., 4096)               = 4
write(4, "bar\n"..., 4)                 = 4
read(3, ""..., 4096)                    = 0
close(3)                                = 0
close(4)                                = 0
rename("./sedPmPv9z", "foo")            = 0
close(1)                                = 0
close(2)                                = 0

Descrição:
o arquivo temporário ./sedPmPv9zse torna fd 4 e os fooarquivos se tornam fd 3. As operações de leitura estão no fd 3 e as gravações no fd 4 (o arquivo temporário). O arquivo foo é substituído pelo arquivo temporário na chamada de renomeação.

Outra solução:

uniq file 1<> líneas.txt

Um arquivo temporário é praticamente o mesmo, a menos que o comando em questão suporte a edição no local ( uniqnão - alguns sedfazem ( sed -i)).

Você pode usar o Vim no modo Ex:

ex -sc '%!uniq' -cx .bash_history

1. % selecione todas as linhas

2. ! comando de execução

3. x salvar e fechar

Você também pode usar o tee, usando a saída uniq como entrada:

uniq .bash_history | tee .bash_history