Perguntas com a marcação «softmax»

O que decide a escolha da função (Softmax vs Sigmoid) em um classificador Logístico? Suponha que existem 4 classes de saída. Cada uma das funções acima fornece as probabilidades de cada classe ser a saída correta. Então, qual levar para um classificador?

63 machine-learning  logistic  classification  softmax 

Estou tentando entender como a retropropagação funciona para uma camada de saída softmax / entropia cruzada. A função de erro de entropia cruzada é E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j com ttt e ooo como alvo e saída no neurônio jjj , respectivamente. A soma é sobre cada neurônio na camada de …

40 backpropagation  derivative  softmax  cross-entropy 

Eu li esta página: http://neuralnetworksanddeeplearning.com/chap3.html e disse que a camada de saída sigmóide com entropia cruzada é bastante semelhante à camada de saída softmax com probabilidade logarítmica. o que acontece se eu usar sigmoid com probabilidade de log ou softmax com entropia cruzada na camada de saída? Está bom? porque …

31 neural-networks  maximum-likelihood  softmax 

Trabalho com redes neurais convolucionais (CNNs) há algum tempo, principalmente em dados de imagem para segmentação semântica / segmentação de instância. Eu muitas vezes visualizei o softmax da saída de rede como um "mapa de calor" para ver o quão alto são as ativações por pixel para uma determinada classe. …

22 probability  deep-learning  conv-neural-network  uncertainty  softmax 

A aplicação da função softmax em um vetor produzirá "probabilidades" e valores entre e . 000111 Mas também podemos dividir cada valor pela soma do vetor e isso produzirá probabilidades e valores entre e .000111 Eu li a resposta aqui, mas diz que a razão é porque é diferenciável, embora …

20 machine-learning  neural-networks  softmax 

Eu tenho uma rede neural configurada para prever algo em que a variável de saída é ordinal. Descreverei abaixo usando três saídas possíveis A <B <C. É bastante óbvio como usar uma rede neural para gerar dados categóricos: a saída é apenas um softmax da última camada (geralmente totalmente conectada), …

20 neural-networks  ordinal-data  softmax 

Parece haver muita confusão na comparação entre usar glmnetdentro caretpara procurar uma lambda ideal e usar cv.glmnetpara fazer a mesma tarefa. Muitas perguntas foram feitas, por exemplo: Modelo de classificação train.glmnet vs. cv.glmnet? Qual é a maneira correta de usar glmnet com cursor? Validação cruzada de `glmnet` usando` caret` mas …

14 r  caret  glmnet  machine-learning  neural-networks  maximum  softmax  probability  distributions  mathematical-statistics  random-variable  cdf  statistical-significance  variance  expected-value  ratio  sample-size  reliability  tolerance-interval  wilcoxon-signed-rank  self-study  variance  sampling  mean  machine-learning  svm  libsvm  self-study  sampling  ranks  data-visualization  histogram  machine-learning  classification  normal-distribution  mathematical-statistics  maximum-likelihood  mixture  predictive-models  prediction  seasonality 

Eu me pergunto por que o softmax hierárquico é melhor para palavras pouco frequentes, enquanto a amostragem negativa é melhor para palavras frequentes, nos modelos CBOW e skip-gram do word2vec. Li a reivindicação em https://code.google.com/p/word2vec/ .

12 natural-language  word2vec  word-embeddings  softmax 

Comecei aprendendo sobre redes neurais com o tutorial neuralnetworksanddeeplearning dot.com. Em particular no capítulo 3, há uma seção sobre a função de entropia cruzada e define a perda de entropia cruzada como: C= - 1n∑x∑j( yjemumaeuj+ ( 1 - yj) em( 1 - aeuj) ))C=-1n∑x∑j(yjem⁡umajeu+(1-yj)em⁡(1-umajeu))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j …

12 neural-networks  loss-functions  softmax  cross-entropy 

A função softmax, comumente usada em redes neurais para converter números reais em probabilidades, é a mesma função da distribuição de Boltzmann, a distribuição de probabilidade sobre energias para um conjunto de partículas em equilíbrio térmico a uma dada temperatura T na termodinâmica. Eu posso ver algumas razões heurísticas claras …

12 machine-learning  neural-networks  softmax 

Estou estudando e tentando implementar redes neurais convolucionais, mas suponho que essa pergunta se aplique aos perceptrons multicamadas em geral. Os neurônios de saída em minha rede representam a ativação de cada classe: o neurônio mais ativo corresponde à classe prevista para uma determinada entrada. Para considerar um custo de …

12 neural-networks  deep-learning  conv-neural-network  nonlinear  softmax 

Na literatura de aprendizado de máquina, para representar uma distribuição de probabilidade, a função softmax é frequentemente usada. Existe uma razão para isso? Por que outra função não é usada?

10 machine-learning  distributions  softmax 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de validação cruzada Fechado há 2 anos . Esperando o próximo curso de Andrew Ng no Coursera, estou tentando programar no Python um …

10 softmax  numerics 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 10 meses . Preciso aplicar a função de ativação Softmax ao Perceptron de várias camadas no scikit. O …

9 neural-networks  scikit-learn  multi-class  softmax 

Observei que Caffe (uma estrutura de aprendizado profundo) usava a Softmax Loss Layer SoftmaxWithLoss como camada de saída para a maioria das amostras do modelo . Até onde eu sei, a camada Softmax Loss é a combinação de Camada Multinomial de Perda Logística e Camada Softmax . De Caffe, eles …

9 multinomial  entropy  sums-of-squares  softmax