Perguntas com a marcação «parquet»

As características do Apache Parquet são: Auto-descrição Formato colunar Independente do idioma Em comparação com o Avro, Sequence Files, RC File etc. Quero uma visão geral dos formatos. Eu já li: Como o Impala funciona com os formatos de arquivo Hadoop , ele fornece algumas informações sobre os formatos, mas …

136 file  hadoop  hdfs  avro  parquet 

Estou planejando usar um dos formatos de arquivo hadoop para meu projeto relacionado ao hadoop. Eu entendo parquet é eficiente para consulta baseada em colunas e avro para varredura completa ou quando precisamos de todos os dados das colunas! Antes de prosseguir e escolher um dos formatos de arquivo, quero …

95 hadoop  avro  parquet 

Ambos são formatos de armazenamento em colunas (disco) para uso em sistemas de análise de dados. Ambos estão integrados no Apache Arrow ( pacote pyarrow para python) e são projetados para corresponder a Arrow como uma camada analítica em memória colunar. Como os dois formatos diferem? Você sempre deve preferir …

95 python  pandas  parquet  feather  pyarrow 

Estou executando alguns testes nos formatos de armazenamento disponíveis com Hive e usando Parquet e ORC como opções principais. Eu incluí ORC uma vez com compressão padrão e uma vez com Snappy. Eu li muitos documentos que afirmam que o Parquet é melhor em complexidade de tempo / espaço em …

87 hadoop  hive  parquet  snappy  orc