Perguntas com a marcação «hdfs»

14
Spark - carregar arquivo CSV como DataFrame?
Gostaria de ler um CSV no spark e convertê-lo como DataFrame e armazená-lo no HDFS com df.registerTempTable("table_name") Eu tentei: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Erro que recebi: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] at …



6
Diferença entre HBase e Hadoop / HDFS
Essa é uma pergunta ingênua, mas eu sou novo no paradigma NoSQL e não sei muito sobre isso. Portanto, se alguém puder me ajudar a entender claramente a diferença entre o HBase e o Hadoop ou se fornecer alguns indicadores que possam me ajudar a entender a diferença. Até agora, …
130 hadoop  nosql  hbase  hdfs  difference 

9
O nó de nome está no modo de segurança. Não é possível sair
root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. não é capaz de criar nada em hdfs eu fiz root# bin/hadoop fs -safemode leave Mas mostrando safemode: Unknown command qual é o problema? Solução
122 hadoop  hdfs 



6
qual é a diferença entre os comandos de shell “hadoop fs” e os comandos de shell “hdfs dfs”?
Eles deveriam ser iguais? mas, porque os hadoop fscomandos " " mostram o hdfs filesenquanto os hdfs dfscomandos " " mostram os arquivos locais? aqui estão as informações da versão do hadoop: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Compilado por jenkins em Seg 22 de abril 10:48:26 …
109 hadoop  hdfs 

Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.