Perguntas com a marcação «mapreduce»

Eu sei como "transformar" um Java simples Listde Y-> Z, ou seja: List<String> x; List<Integer> y = x.stream() .map(s -> Integer.parseInt(s)) .collect(Collectors.toList()); Agora eu gostaria de fazer basicamente o mesmo com um mapa, ou seja: INPUT: { "key1" -> "41", // "41" and "42" "key2" -> "42 // are Strings …

209 java  mapreduce  java-8  java-stream  collectors 

Atualmente, essa questão não se encaixa no nosso formato de perguntas e respostas. Esperamos que as respostas sejam apoiadas por fatos, referências ou conhecimentos, mas essa pergunta provavelmente solicitará debate, argumentos, pesquisas ou discussão prolongada. Se você acha que essa pergunta pode ser melhorada e possivelmente reaberta, visite o centro …

202 mapreduce 

Relacionado à minha pergunta do CouchDB . Alguém pode explicar o MapReduce em termos que um numbnuts possa entender?

166 frameworks  mapreduce  glossary 

Quais cenários justificariam o uso do algoritmo " Mapear e Reduzir "? Existe uma implementação .NET desse algoritmo?

152 c#  mapreduce 

Em muitas situações da vida real em que você aplica o MapReduce, os algoritmos finais acabam sendo várias etapas do MapReduce. ou seja, Mapa1, Reduzir1, Mapa2, Reduzir2 e assim por diante. Portanto, você tem a saída da última redução necessária como entrada para o próximo mapa. Os dados intermediários são …

124 hadoop  mapreduce 

De acordo com Hadoop - The Definitive Guide Os registros lógicos que FileInputFormats definem geralmente não se encaixam perfeitamente em blocos HDFS. Por exemplo, os registros lógicos de um TextInputFormat são linhas, que cruzarão os limites do HDFS com mais freqüência. Isso não tem relação com o funcionamento do seu …

119 hadoop  split  mapreduce  block  hdfs 

Na programação do Map Reduce, a fase de redução tem embaralhamento, classificação e redução como suas sub-partes. A classificação é um assunto caro. Qual é a finalidade da fase de embaralhamento e classificação no redutor na Programação Map Reduce?

113 sorting  hadoop  mapreduce  hdfs  shuffle 

Um dos principais exemplos usados ​​para demonstrar o poder do MapReduce é o benchmark Terasort . Estou tendo problemas para entender os fundamentos do algoritmo de classificação usado no ambiente MapReduce. Para mim, a classificação envolve simplesmente determinar a posição relativa de um elemento em relação a todos os outros …

110 algorithm  sorting  parallel-processing  hadoop  mapreduce 

Fechadas. Esta pergunta não atende às diretrizes do Stack Overflow . Atualmente não está aceitando respostas. Quer melhorar esta questão? Atualize a pergunta para que esteja no tópico do Stack Overflow. Fechado há 4 anos . Melhore esta questão Portanto, tenho observado o Hadoop com grande interesse e, para ser …

98 c#  .net  hadoop  mapreduce 

Existe alguma dependência entre Spark e Hadoop ? Se não, há algum recurso que sentirei falta ao executar o Spark sem Hadoop ?

93 hadoop  amazon-s3  apache-spark  mapreduce  mesos 

Ao usar a $incláusula do MongoDB , a ordem dos documentos retornados sempre corresponde à ordem do argumento da matriz?

87 mongodb  mongoose  mapreduce  mongodb-query  aggregation-framework 

No Hadoop v1, atribuí cada slot de 7 mapeadores e redutores com tamanho de 1 GB, meus mapeadores e redutores funcionam bem. Minha máquina tem 8G de memória e 8 processadores. Agora com o YARN, ao executar o mesmo aplicativo na mesma máquina, recebo um erro de contêiner. Por padrão, …

85 hadoop  mapreduce  yarn  mrv2