Como visualizar grandes dados de séries temporais interativamente?

10

Costumo lidar com uma quantidade de tamanho razoável de dados de séries temporais, 50 a 200 milhões de vezes com registros de data e hora associados e gostaria de visualizá-los dinamicamente.

Existe software existente para fazer isso de forma eficaz? E as bibliotecas e formatos de dados? O cache de zoom é um exemplo de biblioteca focada em grandes séries temporais. No cache Zoom, os dados são resumidos em várias resoluções para facilitar a visualização em diferentes resoluções.

Edit: Além disso, se houver algum outro lugar eu deveria fazer esta pergunta ou procurar uma resposta, por favor me avise.

— Davorak
fonte

11

Embora eu não tenha idéia de como será dimensionado com um número tão grande de pontos de dados, convém dar uma olhada no Cubism.js .

— chl

Dei uma olhada no Cubism, que é bom para gráficos de atualização incremental de fluxos de dados seriais, mas com minha breve pesquisa não vi nada sobre o cache de várias resoluções ou dados resumidos para acelerar grandes conjuntos de dados. Isso é o ponteiro, embora pareça uma biblioteca legal.

— Davorak

11

Você pode estar interessado em Zoomdata zoomdata.com/product/fast-data-sharpening-visualization Embora seus preços sejam bastante altos.

— chhantyal

@chhantyal - Obrigado! Parece o tipo de ferramenta que eu estava procurando. Embora eu não esteja mais trabalhando com os mesmos conjuntos de dados, ainda estou interessado no espaço, então provavelmente testarei a trilha do zoomdata em algum momento.

— Davorak 22/02

2

Há um conjunto de ferramentas de pesquisa chamado TimeSearcher 1--3 que fornece alguns exemplos de como lidar com grandes conjuntos de dados de séries temporais. Abaixo estão alguns exemplos de imagens do TimeSearcher 2 e 3.

TimeSearcher 2

TimeSearcher 3

— edallme
fonte

2

Desculpe pelo auto-anúncio, mas o Thunderplot (thunderplot.com) seria um bom candidato. Eu escrevi exatamente para plotagem interativa de grandes conjuntos de dados. Não testei com conjuntos de dados de linhas de 200KK, mas funciona bem com ~ 10KK linhas. Além disso, há o recurso "ler cada enésima linha", para que você possa reduzir a quantidade de dados para armazenar / visualizar. Posso enviar a chave de registro em troca de um desses grandes conjuntos de dados. :-)

captura de tela thunderplot

— Vadim Kalinsky
fonte

0

Outro post de autopromoção, porque trabalho para esta empresa, mas o SensorCloud (sensorcloud.com) usa algoritmos inteligentes para representar graficamente conjuntos de dados em massa muito rapidamente. Ele foi originalmente projetado com nossos sensores físicos em mente, mas possui um carregador CSV para lidar com quaisquer dados de séries temporais.

Por exemplo, fizemos o upload de um conjunto de dados com 100 bilhões de pontos de dados (mais de 1 terabyte de carimbo de data e hora + valores de dados) e você pode fazer um gráfico e interagir com ele muito rapidamente.

Aqui está um link público para esse conjunto de dados: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/

O link acima usa nosso visualizador em flash. Se você não quiser usar o flash, aqui está o visualizador de javascript: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/js/

Use a roda de rolagem ou Shift + clique esquerdo para aumentar o zoom.

— rwstoneback
fonte