Perguntas com a marcação «cross-entropy»

Estou treinando uma rede neural para classificar um conjunto de objetos em n-classes. Cada objeto pode pertencer a várias classes ao mesmo tempo (multi-classe, multi-rótulo). Li que, para problemas com várias classes, geralmente é recomendável usar softmax e entropia cruzada categórica como a função de perda em vez de mse …

64 neural-networks  python  loss-functions  keras  cross-entropy 

Estou tentando entender como a retropropagação funciona para uma camada de saída softmax / entropia cruzada. A função de erro de entropia cruzada é E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j com ttt e ooo como alvo e saída no neurônio jjj , respectivamente. A soma é sobre cada neurônio na camada de …

40 backpropagation  derivative  softmax  cross-entropy 

Na minha opinião, a divergência de KL da distribuição da amostra para a distribuição verdadeira é simplesmente a diferença entre entropia cruzada e entropia. Por que usamos a entropia cruzada para ser a função de custo em muitos modelos de aprendizado de máquina, mas usamos a divergência de Kullback-Leibler em …

39 kullback-leibler  tsne  cross-entropy 

Antes de tudo, percebi que, se preciso realizar previsões binárias, tenho que criar pelo menos duas classes executando uma codificação one-hot. Isso está correto? No entanto, a entropia cruzada binária é apenas para previsões com apenas uma classe? Se eu usasse uma perda de entropia cruzada categórica, que normalmente é …

36 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

Em 5.5, Deep Learning (de Ian Goodfellow, Yoshua Bengio e Aaron Courville), afirma que Qualquer perda que consiste em uma probabilidade logarítmica negativa é uma entropia cruzada entre a distribuição empírica definida pelo conjunto de treinamento e a distribuição de probabilidade definida pelo modelo. Por exemplo, erro quadrático médio é …

28 machine-learning  normal-distribution  cross-entropy 

Ao treinar redes neurais de segmentação de pixel, como redes totalmente convolucionais, como você decide usar a função de perda de entropia cruzada versus a função de perda de coeficiente de dados? Sei que essa é uma pergunta curta, mas não tenho certeza de que outras informações fornecer. Examinei um …

27 neural-networks  loss-functions  cross-entropy 

Tanto a entropia cruzada quanto a divergência KL são ferramentas para medir a distância entre duas distribuições de probabilidade. Qual é a diferença? Além disso, a minimização de KL é equivalente à minimização de entropia cruzada.K G ( P | Q ) = Σ x P ( x ) log …

24 entropy  kullback-leibler  cross-entropy 

Estou experimentando um pouco de auto-codificadores e, com o tensorflow, criei um modelo que tenta reconstruir o conjunto de dados MNIST. Minha rede é muito simples: X, e1, e2, d1, Y, onde e1 e e2 são camadas de codificação, d2 e Y são camadas de decodificação (e Y é a …

19 mse  autoencoders  tensorflow  cross-entropy 

O custo da entropia cruzada faz sentido no contexto da regressão (em oposição à classificação)? Se sim, você poderia dar um exemplo de brinquedo através do TensorFlow? Se não, por que não? Eu estava lendo sobre entropia cruzada em Redes Neurais e Deep Learning, de Michael Nielsen, e parece que …

13 regression  entropy  tensorflow  cross-entropy 

Comecei aprendendo sobre redes neurais com o tutorial neuralnetworksanddeeplearning dot.com. Em particular no capítulo 3, há uma seção sobre a função de entropia cruzada e define a perda de entropia cruzada como: C= - 1n∑x∑j( yjemumaeuj+ ( 1 - yj) em( 1 - aeuj) ))C=-1n∑x∑j(yjem⁡umajeu+(1-yj)em⁡(1-umajeu))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j …

12 neural-networks  loss-functions  softmax  cross-entropy 

Eu entendo que, dado um conjunto de observações independentes o Estimador de Máxima Verossimilhança (ou, equivalentemente, o MAP com flat / uniform anterior) que identifica os parâmetros \ mathbf {θ} que produzem a distribuição do modelo p_ {model} \ esquerda (\, \ cdot \,; \ mathbf {θ} \ right) que …

12 maximum-likelihood  deep-learning  cross-entropy 

Para duas distribuições discretas e q , a entropia cruzada é definida comopppqqq H( p , q) = - ∑xp ( x ) logq( X ) .H(p,q)=−∑xp(x)log⁡q(x).H(p,q)=-\sum_x p(x)\log q(x). Eu me pergunto por que isso seria uma medida intuitiva de distância entre duas distribuições de probabilidade? Vejo que é a …

11 probability  distributions  cross-entropy 

Eu tenho tentado criar um programa para treinar redes neurais no meu computador. Para a rede em questão, decidi usar a função Erro de entropia cruzada: E=−∑jtjlnojE=−∑jtjln⁡ojE = -\sum_jt_j\ln o_j Onde é a saída alvo do neurônio e é a saída desse neurônio, tentando prever .tjtjt_jjjjojojo_jtjtjt_j Eu quero saber o …

9 machine-learning  neural-networks  derivative  cross-entropy  differential-equations 

Há uma afirmação de que maximizar a probabilidade é equivalente a minimizar a entropia cruzada. Existe alguma prova para esta afirmação?

9 machine-learning  mathematical-statistics  maximum-likelihood  cross-entropy 

Comecei a seguir os tutoriais do TensorFlow aqui e tenho uma pequena pergunta sobre os cálculos de entropia cruzada. Na maioria dos lugares que vi entropia cruzada calculada usando o log da base 2, mas o tf.log é a base e. Sob quais condições o uso de uma base de …

8 tensorflow  cross-entropy