O ambiente Unix possui excelentes ferramentas para analisar texto de várias formas. No entanto, ultimamente, os dados não estão nos formatos tradicionais (históricos) (CSV, TSV, baseados em registros ou outros delimitadores) que costumavam ser antes. Atualmente, os dados são trocados em formatos estruturados como XML / JSON.
Eu sei que existem algumas boas ferramentas como sed, awk e Perl que podem mastigar praticamente qualquer forma de dados por aí. No entanto, para trabalhar com esse tipo de dados estruturados, muitas vezes é preciso escrever um programa completo e, dado o pouco tempo disponível para extrair informações, é preciso sentar e descobrir toda a lógica do que se deseja consultar e colocar. programaticamente. Às vezes, isso não é bom - basicamente porque as informações extraídas desses arquivos funcionam como entradas para trabalhos futuros; também devido ao tempo necessário para procurar a solução apropriada e codificá-la. É necessária uma ferramenta de linha de comando com opções suficientes para localizar, consultar e despejar dados.
Estou procurando ferramentas que pegam um XML / JSON ou outras formas de dados estruturados e os despejam em outros formatos como csv etc., para que a partir daí possa-se usar outros comandos para extrair informações.
Você conhece algum utilitário de linha de comando que faça esse tipo de trabalho? Já existem scripts awk / Perl disponíveis para isso?
jqé uma boa ferramenta para analisar JSON no shell: stedolan.github.io/jq