Programação scala

9

Extraia os valores da coluna do Dataframe como lista no Apache Spark

Quero converter uma coluna de string de um quadro de dados em uma lista. O que posso encontrar na DataframeAPI é RDD, então tentei primeiro convertê-lo de volta para RDD e depois aplicar a toArrayfunção ao RDD. Nesse caso, o comprimento e o SQL funcionam perfeitamente. No entanto, o resultado …

86 scala apache-spark apache-spark-sql

12

Qual é a maneira idiomática do Scala de “remover” um elemento de uma lista imutável?

Eu tenho uma lista, que pode conter elementos que serão comparados como iguais. Eu gostaria de uma lista semelhante, mas com um elemento removido. Portanto, de (A, B, C, B, D), gostaria de poder "remover" apenas um B para obter, por exemplo, (A, C, B, D). A ordem dos elementos …

86 list scala

1

Como padronizar a correspondência de vários valores em Scala?

Digamos que eu queira lidar com vários valores de retorno de um serviço remoto usando o mesmo código. Não sei como expressar isso no Scala: code match { case "1" => // Whatever case "2" => // Same whatever case "3" => // Ah, something different } Eu sei que …

85 scala pattern-matching

7

Quando usar o sinal de igual em uma declaração de método Scala?

Com sinal de igual: object HelloWorld { def main(args: Array[String]) = { println("Hello!") } } Sem sinal de igual: object HelloWorld { def main(args: Array[String]) { println("Hello!") } } Ambos os programas acima são executados da mesma maneira. Na postagem do blog Coisas que eu não gosto no Scala , …

85 scala

7

O que são continuações do Scala e por que usá-las?

Acabei de terminar a programação em Scala e estive examinando as mudanças entre Scala 2.7 e 2.8. O que parece ser o mais importante é o plugin de continuação, mas não entendo para que ele é útil ou como funciona. Percebi que isso é bom para E / S assíncrona, …

85 scala scala-2.8 continuations delimited-continuations

11

Como salvar o DataFrame diretamente no Hive?

É possível salvar DataFrameno Spark diretamente no Hive? Eu tentei com a conversão DataFramepara Rdde, em seguida, salvar como um arquivo de texto e, em seguida, carregando no colmeia. Mas estou me perguntando se posso salvar diretamente dataframepara a colmeia

85 scala apache-spark hive apache-spark-sql

8

Qual é a motivação para a avaliação da atribuição do Scala à Unidade em vez do valor atribuído?

Qual é a motivação para a avaliação da atribuição do Scala à Unidade em vez do valor atribuído? Um padrão comum na programação de E / S é fazer coisas assim: while ((bytesRead = in.read(buffer)) != -1) { ... Mas isso não é possível no Scala porque ... bytesRead = …

84 scala functional-programming io assignment-operator

3

Duas maneiras de currying em Scala; qual é o caso de uso para cada um?

Estou tendo uma discussão sobre as listas de parâmetros múltiplos no guia de estilo do Scala que mantenho. Percebi que existem duas maneiras de currying e estou me perguntando quais são os casos de uso: def add(a:Int)(b:Int) = {a + b} // Works add(5)(6) // Doesn't compile val f = …

83 scala coding-style currying

4

Por que o zipado é mais rápido que o zip no Scala?

Eu escrevi algum código Scala para executar uma operação elemento a elemento em uma coleção. Aqui eu defini dois métodos que executam a mesma tarefa. Um método usa zipe o outro usa zipped. def ES (arr :Array[Double], arr1 :Array[Double]) :Array[Double] = arr.zip(arr1).map(x => x._1 + x._2) def ES1(arr :Array[Double], arr1 …

38 scala performance scala-collections jmh elementwise-operations

2

Spark: Por que o Python supera significativamente o Scala no meu caso de uso?

Para comparar o desempenho do Spark ao usar Python e Scala, criei o mesmo trabalho nos dois idiomas e comparei o tempo de execução. Eu esperava que os dois trabalhos levassem aproximadamente a mesma quantidade de tempo, mas o trabalho em Python levou apenas 27min, enquanto o trabalho em Scala …

16 python scala apache-spark pyspark

1

Existe uma representação de van Laarhoven de `Opcional`

Muitos tipos de óptica têm uma representação de van Laarhoven. Por exemplo, um Lensdo tipo Lens s t a b pode ser representado como: Functor f => (a -> f b) -> s -> f t Da mesma forma a Traversal, pode ser representado de maneira semelhante, trocando a Functorrestrição …

15 scala haskell functional-programming lenses monocle-scala

1

Como raciocinar sobre a segurança da pilha no Scala Cats / fs2?

Aqui está um pedaço de código da documentação para fs2 . A função goé recursiva. A questão é: como sabemos se a pilha é segura e como raciocinar se alguma função é segura? import fs2._ // import fs2._ def tk[F[_],O](n: Long): Pipe[F,O,O] = { def go(s: Stream[F,O], n: Long): Pull[F,O,Unit] …

13 scala functional-programming tail-recursion scala-cats fs2

2

Por que um método que retorna a Unidade pode ser substituído pelo método que retorna String quando os tipos de retorno não são explicitamente fornecidos?

Eu estava trabalhando nos exemplos de código do capítulo Traits in Programming in Scala Edition1 https://www.artima.com/pins1ed/traits.html e me deparei com um comportamento estranho por causa do meu erro de digitação. Enquanto substituindo método de um traço abaixo trecho de código não dá qualquer erro de compilação, embora os tipos de …

11 scala overriding traits

5

Por que println é considerado uma função impura?

Estou lendo o livro de programação em scala, e diz-se: ... neste caso, seu efeito colateral é imprimir no fluxo de saída padrão. e não vejo onde está o efeito colateral, pois, para a mesma entrada, println imprimirá a mesma saída (acho) UPDATE, por exemplo, sempre que chamarmos: println(5) ele …

10 scala functional-programming pure-function

3

Opção Scala (nula) esperada como Nenhuma, mas recebi Alguma (0)

val i: java.lang.Integer = null val o: Option[Int] = Option(i) // This yields Some(0) Qual é a maneira segura de converter null: java.lang.Integerpara Scala Option[Int]?

9 scala optional

Perguntas com a marcação «scala»