Como recuperar tweets da linha de comando?

Existe uma maneira simples de recuperar os tweets de alguém na linha de comando?

A conta seria pública e o comando - ou script, se necessário - recuperaria todos ou um número especificado de tweets mais recentes em um arquivo de texto, um tweet por linha, sem os metadados, o mais recente da primeira linha.

Sem o uso da API, apenas bash.

A partir de uma data aproximada, o Twitter não permitirá que você entre na API deles sem ter uma chave OAuth. Mas, como solução alternativa, você pode usar a API de pesquisa. É RESTful, portanto, você pode usar curlpara recuperar os resultados da pesquisa no formato JSON. Por exemplo, se você deseja recuperar os tweets de @ java e salvá-lo em arquivo ~/.tweets, esta linha de código pode ser usada:

curl http://search.twitter.com/search.json?q=from:java&page=1&rpp=10&callback=? >> $HOME/.tweets

E você pode analisar o arquivo usando qualquer analisador JSON.

Existem ferramentas para analisar JSON a partir da interface da linha de comandos. Embora eu nunca tenha usado um, colocarei alguns links em alguns recursos para ajudá-lo a encontrar a ferramenta mais adequada:

• /programming/3858671/unix-command-line-json-parser
• http://www.conigliaro.org/2011/01/24/jazor-a-simple-command-line-json-parsing-tool/
• /programming/1955505/parsing-json-with-sed-and-awk
• http://kmkeen.com/jshon/

E, como uma pequena observação, é mais rápido usar alguns Python ou Ruby (ou outros).

Se você não quiser usar a API do Twitter, poderá pegar o feed RSS do perfil do Twitter usando um script bash e prosseguir para formatá-lo a partir daí.

• /programming/8632233/read-rss-feed-using-a-shell-script

Como a API do Twitter descontinuou o feed RSS, você pode contornar isso gerando feed RSS usando os resultados da pesquisa.

Aqui está o feed RSS dos meus tweets .

Você teria que montar o script bash necessário. Desde a busca do feed RSS até a formatação dos tweets conforme suas necessidades.

Este é o meu script feito para uso no protetor de tela

#!/bin/bash

user="$1"
user="${user:=pontifex_pl}"

last_status_url=$(lynx -dump https://twitter.com/$user \
    | grep -i "$user/status/" \
    | head -1 \
    | awk '{print $2}')

lynx -dump "$last_status_url" \
    | grep 'Twitter:' -m1 -A4 \
    | tr -d '\n' \
    | sed -e 's/[^"]*"//' -e 's/".*//' \
    | tr -s ' '

echo

Eu criei uma ferramenta que deveria fazer quase exatamente o que você descreveu: twitter-screen-scrape . Por padrão, ele será produzido em JSON, com metadados, mas é trivial canalizar a saída através de algo como underscore-cli para remover tudo o que você não deseja.

$ twitter-screen-scrape -u slang800 | underscore pluck text --outfmt text > outputfile

Você pode seguir a rota python + tweepy:

1. Criando seu próprio aplicativo do Twitter (para obter chaves de API)
2. Crie tokens de acesso para sua conta do twitter
3. Use um script como esse junto com suas credenciais: https://gist.github.com/yanofsky/5436496

Acabei de testar e funciona muito bem. No entanto, existem usuários que protegem seus tweets, portanto, pode não permitir que você baixe tudo. Mas isso é uma característica do twitter.

O limite ainda é 3200 e você obtém um arquivo CSV.

Você pode twarcdar um exemplo se quiser arquivar os tweets de Nassim Nicholas Taleb que você usa.

twarc timeline nntaleb --format csv> taleb.csv 

Você também pode usar outros formatos: --format {json,csv,csv-excel}

Como configurar twarc: a única maneira de obter os tweets completos é usando o APIinfelizmente, mesmo que o aplicativo seja transparente, você precisa ter uma instalação e uma configuração inicial, também precisa solicitar o API(

A partir de julho de 2018, você deverá solicitar uma conta de desenvolvedor do Twitter e ser aprovado antes de poder criar novos aplicativos.

)

Depois de obter as chaves do aplicativo, você pode dizer twarco que são com o comando configure.

twarc configure

Isto irá armazenar suas credenciais em um arquivo chamado .twarcem seu diretório home para que você não tem que manter a introduzi-los. Se você preferiria fornecê-los diretamente pode defini-los no ambiente ( CONSUMER_KEY, CONSUMER_SECRET, ACCESS_TOKEN, ACCESS_TOKEN_SECRET) ou usar opções de linha de comando ( --consumer_key, --consumer_secret, --access_token, --access_token_secret).