Penso que a principal diferença que posso descrever diz respeito aos formatos orientados a registros vs. orientados a colunas. Formatos orientados a registros são o que estamos acostumados - arquivos de texto, formatos delimitados como CSV, TSV. O AVRO é um pouco mais frio do que aqueles, pois pode alterar o esquema ao longo do tempo, por exemplo, adicionar ou remover colunas de um registro. Outros truques de vários formatos (especialmente incluindo a compactação) envolvem se um formato pode ser dividido - ou seja, você pode ler um bloco de registros de qualquer lugar do conjunto de dados e ainda sabe que é o esquema? Mas aqui estão mais detalhes sobre formatos colunares como o Parquet.
Parquet e outros formatos colunares lidam com uma situação comum do Hadoop com muita eficiência. É comum ter tabelas (conjuntos de dados) com muito mais colunas do que você esperaria em um banco de dados relacional bem projetado - cem ou duzentas colunas não são incomuns. Isso ocorre porque geralmente usamos o Hadoop como um local para desnormalizar dados de formatos relacionais - sim, você obtém muitos valores repetidos e muitas tabelas achatadas em uma única. Mas fica muito mais fácil consultar, pois todas as junções são trabalhadas. Existem outras vantagens, como a retenção de dados de estado no tempo. De qualquer forma, é comum ter um monte de colunas em uma tabela.
Digamos que existam 132 colunas, e algumas delas são realmente campos de texto longos, cada coluna diferente uma após a outra e que consomem talvez 10 mil por registro.
Embora a consulta dessas tabelas seja fácil com o ponto de vista do SQL, é comum que você deseje obter algum intervalo de registros com base em apenas algumas dessas centenas de colunas. Por exemplo, você pode querer todos os registros de fevereiro e março para clientes com vendas> US $ 500.
Para fazer isso em um formato de linha, a consulta precisaria verificar todos os registros do conjunto de dados. Leia a primeira linha, analise o registro em campos (colunas) e obtenha a data e as colunas de vendas, inclua-o no resultado se ele satisfizer a condição. Repetir. Se você tem 10 anos (120 meses) de história, está lendo todos os registros apenas para encontrar dois desses meses. Obviamente, essa é uma ótima oportunidade para usar uma partição no ano e no mês, mas mesmo assim, você está lendo e analisando 10K de cada registro / linha nesses dois meses apenas para descobrir se as vendas do cliente são> US $ 500.
Em um formato colunar, cada coluna (campo) de um registro é armazenada com outras de seu tipo, espalhadas por muitos blocos diferentes no disco - colunas por ano juntos, colunas por mês juntos, colunas para o manual do funcionário do cliente (ou outro texto longo) e todos os outros que tornam esses registros tão grandes, todos em um lugar separado no disco e, claro, colunas para vendas juntos. Bem, dia e mês são números e vendas - eles são apenas alguns bytes. Não seria ótimo se tivéssemos que ler apenas alguns bytes para cada registro para determinar quais registros correspondiam à nossa consulta? Armazenamento colunar para o resgate!
Mesmo sem partições, a varredura dos pequenos campos necessários para atender à nossa consulta é super rápida - eles estão todos em ordem por registro e com o mesmo tamanho, de modo que o disco procura muito menos verificação de dados para registros incluídos. Não é necessário ler esse manual do funcionário e outros campos de texto longos - apenas ignore-os. Portanto, agrupando colunas entre si, em vez de linhas, você quase sempre pode verificar menos dados. Ganhar!
Mas espere, fica melhor. Se sua consulta apenas precisasse conhecer esses valores e mais alguns (digamos 10 das 132 colunas) e não se importasse com a coluna do manual do funcionário, uma vez que ela selecionasse os registros corretos para retornar, agora seria necessário apenas ir de volta às 10 colunas necessárias para renderizar os resultados, ignorando os outros 122 dos 132 em nosso conjunto de dados. Novamente, pulamos muitas leituras.
(Observação: por esse motivo, os formatos colunares são uma péssima escolha ao fazer transformações diretas, por exemplo, se você estiver juntando todas as duas tabelas em um grande conjunto de resultados (ger) que está salvando como uma nova tabela, as fontes serão digitalizados completamente de qualquer maneira, portanto, não há muitos benefícios no desempenho da leitura e, como os formatos colunares precisam lembrar mais sobre o local, eles usam mais memória que um formato de linha semelhante).
Mais um benefício do colunar: os dados são espalhados. Para obter um único registro, é possível ter 132 trabalhadores cada um lendo (e gravando) dados de / para 132 locais diferentes em 132 blocos de dados. Yay para paralelização!
E agora para o argumento decisivo: algoritmos de compressão funcionam muito melhor quando podem encontrar padrões repetidos. Você pode comprimir AABBBBBBCCCCCCCCCCCCCCCCcomo 2A6B16CmasABCABCBCBCBCCCCCCCCCCCCCC não iria ficar tão pequena (bem, na verdade, neste caso seria, mas confia em mim :-)). Então, mais uma vez, menos leitura. E escrevendo também.
Portanto, lemos muito menos dados para responder a consultas comuns, é potencialmente mais rápido ler e escrever em paralelo, e a compactação tende a funcionar muito melhor.
Colunar é ótimo quando seu lado de entrada é grande e sua saída é um subconjunto filtrado: de grande a pequeno é ótimo. Não é tão benéfico quando as entradas e saídas são praticamente as mesmas.
Porém, no nosso caso, a Impala levou nossas consultas antigas do Hive, que duravam 5, 10, 20 ou 30 minutos, e terminavam a maioria em alguns segundos ou um minuto.
Espero que isso ajude a responder pelo menos parte de sua pergunta!