Perguntas com a marcação «hadoop»

Hadoop é um projeto de código aberto Apache que fornece software para computação distribuída confiável e escalonável. O núcleo consiste em um sistema de arquivos distribuído (HDFS) e um gerenciador de recursos (YARN). Vários outros projetos de código aberto, como o Apache Hive, usam o Apache Hadoop como camada de persistência.

21
Aviso Hadoop "Não foi possível carregar a biblioteca nativo-hadoop para sua plataforma"
Atualmente, estou configurando o hadoop em um servidor executando o CentOs . Quando executo start-dfs.shou stop-dfs.sh, recebo o seguinte erro: WARN util.NativeCodeLoader: Não foi possível carregar a biblioteca nativo-hadoop para sua plataforma ... usando classes builtin-java onde aplicável Estou executando o Hadoop 2.2.0. Fazer uma pesquisa on-line trouxe esse link: …
19
Diferença entre Pig e Hive? Por que ter os dois? [fechadas]
Fechado . Esta questão é baseada em opiniões . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela possa ser respondida com fatos e citações editando esta postagem . Fechado há 4 anos . Melhore esta pergunta Meu histórico - 4 semanas no …
256 hadoop  hive  apache-pig 
16
Quando usar o Hadoop, HBase, Hive e Pig?
Quais são os benefícios de usar um ou outro Hadoop ou HBase ou Hive ? Pelo que entendi, o HBase evita o uso de redução de mapa e possui um armazenamento orientado a colunas sobre o HDFS. O Hive é uma interface do tipo sql para o Hadoop e o …
185 hadoop  hbase  hive  apache-pig 
15
Como desativar o registro INFO no Spark?
Instalei o Spark usando o guia da AWS EC2 e posso iniciar o programa com bin/pysparkprecisão usando o script para acessar o prompt do spark e também posso executar o Quick Start com êxito. No entanto, durante toda a minha vida, não consigo descobrir como interromper todo o INFOlog detalhado …
14
Spark - carregar arquivo CSV como DataFrame?
Gostaria de ler um CSV no spark e convertê-lo como DataFrame e armazená-lo no HDFS com df.registerTempTable("table_name") Eu tentei: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Erro que recebi: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] at …
6
Diferença entre HBase e Hadoop / HDFS
Essa é uma pergunta ingênua, mas eu sou novo no paradigma NoSQL e não sei muito sobre isso. Portanto, se alguém puder me ajudar a entender claramente a diferença entre o HBase e o Hadoop ou se fornecer alguns indicadores que possam me ajudar a entender a diferença. Até agora, …
130 hadoop  nosql  hbase  hdfs  difference 
13
Encadeando várias tarefas do MapReduce no Hadoop
Em muitas situações da vida real em que você aplica o MapReduce, os algoritmos finais acabam sendo várias etapas do MapReduce. ou seja, Mapa1, Reduzir1, Mapa2, Reduzir2 e assim por diante. Portanto, você tem a saída da última redução necessária como entrada para o próximo mapa. Os dados intermediários são …
124 hadoop  mapreduce 
9
O nó de nome está no modo de segurança. Não é possível sair
root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. não é capaz de criar nada em hdfs eu fiz root# bin/hadoop fs -safemode leave Mas mostrando safemode: Unknown command qual é o problema? Solução
122 hadoop  hdfs 
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.