Perguntas com a marcação «hdfs»

Gostaria de ler um CSV no spark e convertê-lo como DataFrame e armazená-lo no HDFS com df.registerTempTable("table_name") Eu tentei: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Erro que recebi: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] at …

141 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

As características do Apache Parquet são: Auto-descrição Formato colunar Independente do idioma Em comparação com o Avro, Sequence Files, RC File etc. Quero uma visão geral dos formatos. Eu já li: Como o Impala funciona com os formatos de arquivo Hadoop , ele fornece algumas informações sobre os formatos, mas …

136 file  hadoop  hdfs  avro  parquet 

Como copiar arquivos do HDFS para o sistema de arquivos local. Não há localização física de um arquivo no arquivo, nem mesmo o diretório. Como posso movê-los para o meu local para mais validações. Sou experimentado através do winscp.

135 hadoop  copy  hdfs 

Essa é uma pergunta ingênua, mas eu sou novo no paradigma NoSQL e não sei muito sobre isso. Portanto, se alguém puder me ajudar a entender claramente a diferença entre o HBase e o Hadoop ou se fornecer alguns indicadores que possam me ajudar a entender a diferença. Até agora, …

130 hadoop  nosql  hbase  hdfs  difference 

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. não é capaz de criar nada em hdfs eu fiz root# bin/hadoop fs -safemode leave Mas mostrando safemode: Unknown command qual é o problema? Solução

122 hadoop  hdfs 

De acordo com Hadoop - The Definitive Guide Os registros lógicos que FileInputFormats definem geralmente não se encaixam perfeitamente em blocos HDFS. Por exemplo, os registros lógicos de um TextInputFormat são linhas, que cruzarão os limites do HDFS com mais freqüência. Isso não tem relação com o funcionamento do seu …

119 hadoop  split  mapreduce  block  hdfs 

Na programação do Map Reduce, a fase de redução tem embaralhamento, classificação e redução como suas sub-partes. A classificação é um assunto caro. Qual é a finalidade da fase de embaralhamento e classificação no redutor na Programação Map Reduce?

113 sorting  hadoop  mapreduce  hdfs  shuffle 

Eles deveriam ser iguais? mas, porque os hadoop fscomandos " " mostram o hdfs filesenquanto os hdfs dfscomandos " " mostram os arquivos locais? aqui estão as informações da versão do hadoop: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Compilado por jenkins em Seg 22 de abril 10:48:26 …

109 hadoop  hdfs 

Eu conheço du -shsistemas de arquivos Linux comuns. Mas como fazer isso com HDFS?

96 hadoop  command-line  directory  hdfs