Perguntas com a marcação «hadoop»

Hadoop é um projeto de código aberto Apache que fornece software para computação distribuída confiável e escalonável. O núcleo consiste em um sistema de arquivos distribuído (HDFS) e um gerenciador de recursos (YARN). Vários outros projetos de código aberto, como o Apache Hive, usam o Apache Hadoop como camada de persistência.

6
qual é a diferença entre os comandos de shell “hadoop fs” e os comandos de shell “hdfs dfs”?
Eles deveriam ser iguais? mas, porque os hadoop fscomandos " " mostram o hdfs filesenquanto os hdfs dfscomandos " " mostram os arquivos locais? aqui estão as informações da versão do hadoop: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Compilado por jenkins em Seg 22 de abril 10:48:26 …
109 hadoop  hdfs 
15
Falha ao localizar o binário winutils no caminho binário hadoop
Estou recebendo o seguinte erro ao iniciar o namenode para a versão mais recente do hadoop-2.2. Não encontrei o arquivo exe winutils na pasta hadoop bin. Eu tentei os comandos abaixo $ bin/hdfs namenode -format $ sbin/yarn-daemon.sh start resourcemanager ERROR [main] util.Shell (Shell.java:getWinUtilsPath(303)) - Failed to locate the winutils binary …
108 hadoop 
15
Existe um .NET equivalente ao Apache Hadoop? [fechadas]
Fechadas. Esta pergunta não atende às diretrizes do Stack Overflow . Atualmente não está aceitando respostas. Quer melhorar esta questão? Atualize a pergunta para que esteja no tópico do Stack Overflow. Fechado há 4 anos . Melhore esta questão Portanto, tenho observado o Hadoop com grande interesse e, para ser …
98 c#  .net  hadoop  mapreduce 
18
hadoop Sem FileSystem para o esquema: arquivo
Estou tentando executar um simples NaiveBayesClassiferusando o hadoop, obtendo este erro Exception in thread "main" java.io.IOException: No FileSystem for scheme: file at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1375) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:180) at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175) at org.apache.mahout.classifier.naivebayes.NaiveBayesModel.materialize(NaiveBayesModel.java:100) Código: Configuration configuration = new Configuration(); NaiveBayesModel model = NaiveBayesModel.materialize(new Path(modelPath), configuration);// error …
96 java  hadoop  io 
7
Avro vs. Parquet
Estou planejando usar um dos formatos de arquivo hadoop para meu projeto relacionado ao hadoop. Eu entendo parquet é eficiente para consulta baseada em colunas e avro para varredura completa ou quando precisamos de todos os dados das colunas! Antes de prosseguir e escolher um dos formatos de arquivo, quero …
95 hadoop  avro  parquet 
5
Parquet vs ORC vs ORC com Snappy
Estou executando alguns testes nos formatos de armazenamento disponíveis com Hive e usando Parquet e ORC como opções principais. Eu incluí ORC uma vez com compressão padrão e uma vez com Snappy. Eu li muitos documentos que afirmam que o Parquet é melhor em complexidade de tempo / espaço em …
87 hadoop  hive  parquet  snappy  orc 
28
conectar à porta 22 do host localhost: conexão recusada
Ao instalar o hadoop na minha máquina local, recebi o seguinte erro ssh -vvv localhost OpenSSH_5.5p1, OpenSSL 1.0.0e-fips 6 Sep 2011 debug1: Reading configuration data /etc/ssh/ssh_config debug1: Applying options for * debug2: ssh_connect: needpriv 0 debug1: Connecting to localhost [127.0.0.1] port 22. debug1: connect to address 127.0.0.1 port 22: Connection …
86 linux  hadoop  ssh 
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.