Perguntas com a marcação «spark-submit»

Gostaria de interromper várias mensagens que estão chegando no shell de faísca. Tentei editar o log4j.propertiesarquivo para interromper essas mensagens. Aqui estão os conteúdos de log4j.properties # Define the root logger with appender file log4j.rootCategory=WARN, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n # Settings to quiet third party …

181 apache-spark  log4j  spark-submit 

É verdade ... já foi discutido bastante. No entanto, há muita ambiguidade e algumas das respostas fornecidas ... incluindo a duplicação de referências de jar nas opções ou na configuração de jars / executor / driver. Os detalhes ambíguos e / ou omitidos Após a ambiguidade, detalhes obscuros e / …

158 java  scala  apache-spark  jar  spark-submit