Spark - Erro “Um URL mestre deve ser definido em sua configuração” ao enviar um aplicativo

Eu tenho um aplicativo Spark que é executado sem problemas no modo local, mas tenho alguns problemas ao enviar para o cluster Spark.

As mensagens de erro são as seguintes:

16/06/24 15:42:06 WARN scheduler.TaskSetManager: Lost task 2.0 in stage 0.0 (TID 2, cluster-node-02): java.lang.ExceptionInInitializerError
    at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579)
    at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579)
    at scala.collection.Iterator$$anon$14.hasNext(Iterator.scala:390)
    at org.apache.spark.util.Utils$.getIteratorSize(Utils.scala:1595)
    at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157)
    at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157)
    at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)
    at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
    at org.apache.spark.scheduler.Task.run(Task.scala:89)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)
Caused by: org.apache.spark.SparkException: A master URL must be set in your configuration
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:401)
    at GroupEvolutionES$.<init>(GroupEvolutionES.scala:37)
    at GroupEvolutionES$.<clinit>(GroupEvolutionES.scala)
    ... 14 more

16/06/24 15:42:06 WARN scheduler.TaskSetManager: Lost task 5.0 in stage 0.0 (TID 5, cluster-node-02): java.lang.NoClassDefFoundError: Could not initialize class GroupEvolutionES$
    at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579)
    at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579)
    at scala.collection.Iterator$$anon$14.hasNext(Iterator.scala:390)
    at org.apache.spark.util.Utils$.getIteratorSize(Utils.scala:1595)
    at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157)
    at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157)
    at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)
    at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
    at org.apache.spark.scheduler.Task.run(Task.scala:89)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)

No código acima, GroupEvolutionESé a classe principal. A mensagem de erro diz "Um URL mestre deve ser definido em sua configuração", mas eu forneci o parâmetro "--master" para spark-submit.

Alguém que sabe consertar esse problema?

Versão do Spark: 1.6.1

Onde o objeto sparkContext está definido, ele está dentro da função principal?

Eu também enfrentei o mesmo problema, o erro que cometi foi iniciar o sparkContext fora da função principal e dentro da classe.

Quando o iniciei dentro da função principal, funcionou bem.

O TLDR:

.config("spark.master", "local")

uma lista das opções para spark.master no spark 2.2.1

Acabei nesta página depois de tentar executar um programa simples Spark SQL java no modo local. Para fazer isso, descobri que poderia definir spark.master usando:

SparkSession spark = SparkSession
.builder()
.appName("Java Spark SQL basic example")
.config("spark.master", "local")
.getOrCreate();

Uma atualização para minha resposta:

Para ser claro, isso não é o que você deve fazer em um ambiente de produção. Em um ambiente de produção, spark.master deve ser especificado em um de alguns outros lugares: em $ SPARK_HOME / conf / spark-defaults.conf (é aqui que o cloudera manager irá colocá-lo) ou na linha de comando quando você enviar a aplicação. (ex spark-submit --master yarn).

Se você especificar spark.master como 'local' dessa forma, o spark tentará ser executado em um único jvm, conforme indicado pelos comentários abaixo. Se você tentar especificar o cluster --deploy-mode, receberá um erro 'O modo de implementação do cluster não é compatível com o master "local"'. Isso ocorre porque configurar spark.master = local significa que você NÃO está executando no modo de cluster.

Em vez disso, para um aplicativo de produção, dentro de sua função principal (ou em funções chamadas por sua função principal), você deve simplesmente usar:

SparkSession
.builder()
.appName("Java Spark SQL basic example")
.getOrCreate();

Isso usará as configurações especificadas na linha de comando / em arquivos de configuração.

Além disso, para ser claro: --master e "spark.master" são exatamente o mesmo parâmetro, apenas especificados de maneiras diferentes. Definir spark.master no código, como na minha resposta acima, irá substituir as tentativas de definir --master e irá substituir os valores em spark-defaults.conf, então não faça isso na produção. É ótimo para testes.

também, veja esta resposta . que vincula a uma lista de opções para spark.master e o que cada uma realmente faz.

uma lista das opções para spark.master no spark 2.2.1

Funcionou para mim após a substituição

SparkConf sparkConf = new SparkConf().setAppName("SOME APP NAME");

com

SparkConf sparkConf = new SparkConf().setAppName("SOME APP NAME").setMaster("local[2]").set("spark.executor.memory","1g");

Encontrei esta solução em algum outro thread no stackoverflow.

O valor padrão de "spark.master" é spark: // HOST: PORT, e o código a seguir tenta obter uma sessão do cluster autônomo que está sendo executado em HOST: PORT e espera que o valor HOST: PORT esteja no arquivo de configuração do spark.

SparkSession spark = SparkSession
    .builder()
    .appName("SomeAppName")
    .getOrCreate();

" org.apache.spark.SparkException: Um URL mestre deve ser definido em sua configuração " afirma que HOST: PORT não está definido no arquivo de configuração do spark.

Para não se preocupar com o valor de "HOST: PORT", defina spark.master como local

SparkSession spark = SparkSession
    .builder()
    .appName("SomeAppName")
    .config("spark.master", "local")
    .getOrCreate();

Aqui está o link para a lista de formatos nos quais o URL mestre pode ser passado para spark.master

Referência: Tutorial do Spark - Configurar ecossistema do Spark

Se você estiver executando um aplicativo independente, você deve usar em SparkContextvez deSparkSession

val conf = new SparkConf().setAppName("Samples").setMaster("local")
val sc = new SparkContext(conf)
val textData = sc.textFile("sample.txt").cache()

basta adicionar .setMaster("local")ao seu código conforme mostrado abaixo:

val conf = new SparkConf().setAppName("Second").setMaster("local") 

Funcionou para mim! Boa codificação!

Como o contexto do spark em seu aplicativo escolhe o valor para o spark master?

• Você quer fornecer explicitamente dentro de SparkConf durante a criação do SC.
• Ou seleciona System.getProperties(onde SparkSubmit o colocou antes de ler seu --masterargumento).

Agora, SparkSubmité executado no driver - que no seu caso é a máquina de onde você está executando ospark-submit script. E isso provavelmente está funcionando conforme o esperado para você também.

No entanto, a partir das informações que você postou, parece que você está criando um contexto de faísca no código que é enviado ao executor - e dado que não há spark.master propriedade de sistema disponível lá, ele falha. (E você realmente não deveria estar fazendo isso, se for o caso.)

Você pode postar o GroupEvolutionEScódigo (especificamente onde você está criando SparkContext(s)).

Substituindo:

SparkConf sparkConf = new SparkConf().setAppName("SOME APP NAME");
WITH
SparkConf sparkConf = new SparkConf().setAppName("SOME APP NAME").setMaster("local[2]").set("spark.executor.memory","1g");

Fez a mágica.

Eu tive o mesmo problema, aqui está meu código antes da modificação:

package com.asagaama

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD

/**
  * Created by asagaama on 16/02/2017.
  */
object Word {

  def countWords(sc: SparkContext) = {
    // Load our input data
    val input = sc.textFile("/Users/Documents/spark/testscase/test/test.txt")
    // Split it up into words
    val words = input.flatMap(line => line.split(" "))
    // Transform into pairs and count
    val counts = words.map(word => (word, 1)).reduceByKey { case (x, y) => x + y }
    // Save the word count back out to a text file, causing evaluation.
    counts.saveAsTextFile("/Users/Documents/spark/testscase/test/result.txt")
  }

  def main(args: Array[String]) = {
    val conf = new SparkConf().setAppName("wordCount")
    val sc = new SparkContext(conf)
    countWords(sc)
  }

}

E depois de substituir:

val conf = new SparkConf().setAppName("wordCount")

Com:

val conf = new SparkConf().setAppName("wordCount").setMaster("local[*]")

Funcionou bem!

var appName:String ="test"
val conf = new SparkConf().setAppName(appName).setMaster("local[*]").set("spark.executor.memory","1g");
val sc =  SparkContext.getOrCreate(conf)
sc.setLogLevel("WARN")

tente isso

fazer traço

import org.apache.spark.sql.SparkSession
trait SparkSessionWrapper {
   lazy val spark:SparkSession = {
      SparkSession
        .builder()
        .getOrCreate()
    }
}

estende isso

object Preprocess extends SparkSessionWrapper {

Está faltando o setMaster ("local [*]") para definir. Depois de adicionarmos, o problema será resolvido.

Problema:

val spark = SparkSession
      .builder()
      .appName("Spark Hive Example")
      .config("spark.sql.warehouse.dir", warehouseLocation)
      .enableHiveSupport()
      .getOrCreate()

solução:

val spark = SparkSession
      .builder()
      .appName("Spark Hive Example")
      .config("spark.sql.warehouse.dir", warehouseLocation)
      .enableHiveSupport()
      .master("local[*]")
      .getOrCreate()

Se você estiver usando o seguinte código

 val sc = new SparkContext(master, "WordCount", System.getenv("SPARK_HOME"))

Em seguida, substitua pelas seguintes linhas

  val jobName = "WordCount";
  val conf = new SparkConf().setAppName(jobName);
  val sc = new SparkContext(conf)

No Spark 2.0, você pode usar o seguinte código

val spark = SparkSession
  .builder()
  .appName("Spark SQL basic example")
  .config("spark.some.config.option", "some-value")
  .master("local[*]")// need to add
  .getOrCreate()

Você precisa adicionar .master ("local [*]") se a execução local aqui * significa todos os nós, você pode dizer em vez de 8 1,2 etc

Você precisa definir o URL mestre se estiver no cluster

Se você não fornecer a configuração do Spark em JavaSparkContext, receberá este erro. Ou seja: JavaSparkContext sc = new JavaSparkContext ();

Solução: Forneça JavaSparkContext sc = new JavaSparkContext (conf);