Qual é a diferença entre sparse_softmax_cross_entropy_with_logits e softmax_cross_entropy_with_logits?

Recentemente, encontrei tf.nn.sparse_softmax_cross_entropy_with_logits e não consigo descobrir qual é a diferença em comparação com tf.nn.softmax_cross_entropy_with_logits .

É a única diferença que os vetores de treinamento yprecisam ser codificados em um ponto ao usar sparse_softmax_cross_entropy_with_logits?

Lendo a API, não consegui encontrar nenhuma outra diferença em comparação com softmax_cross_entropy_with_logits. Mas então por que precisamos da função extra?

Não deve softmax_cross_entropy_with_logitsproduzir os mesmos resultados que sparse_softmax_cross_entropy_with_logits, se for fornecido com dados / vetores de treinamento codificados em um único ponto?

Ter duas funções diferentes é uma conveniência , pois elas produzem o mesmo resultado.

A diferença é simples:

• Para sparse_softmax_cross_entropy_with_logits, os rótulos devem ter a forma [batch_size] e o dtype int32 ou int64. Cada rótulo é um int no intervalo [0, num_classes-1].
• Para softmax_cross_entropy_with_logits, os rótulos devem ter a forma [batch_size, num_classes] e dtype float32 ou float64.

As etiquetas usadas em softmax_cross_entropy_with_logitssão a única versão quente das etiquetas usadas em sparse_softmax_cross_entropy_with_logits.

Outra pequena diferença é que com sparse_softmax_cross_entropy_with_logits, você pode dar -1 como um rótulo para ter perda 0neste rótulo.

Eu gostaria apenas de adicionar 2 coisas à resposta aceita que você também pode encontrar na documentação do TF.

Primeiro:

tf.nn.softmax_cross_entropy_with_logits

NOTA: Embora as classes sejam mutuamente exclusivas, suas probabilidades não precisam ser. Tudo o que é necessário é que cada linha de rótulos seja uma distribuição de probabilidade válida. Se não forem, o cálculo do gradiente estará incorreto.

Segundo:

tf.nn.sparse_softmax_cross_entropy_with_logits

NOTA: Para esta operação, a probabilidade de um determinado rótulo é considerada exclusiva. Ou seja, classes suaves não são permitidas e o vetor de rótulos deve fornecer um único índice específico para a classe verdadeira para cada linha de logits (cada entrada de minibatch).

Ambas as funções calculam os mesmos resultados e sparse_softmax_cross_entropy_with_logits calcula a entropia cruzada diretamente nos rótulos esparsos em vez de convertê-los com codificação one-hot .

Você pode verificar isso executando o seguinte programa:

import tensorflow as tf
from random import randint

dims = 8
pos  = randint(0, dims - 1)

logits = tf.random_uniform([dims], maxval=3, dtype=tf.float32)
labels = tf.one_hot(pos, dims)

res1 = tf.nn.softmax_cross_entropy_with_logits(       logits=logits, labels=labels)
res2 = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits, labels=tf.constant(pos))

with tf.Session() as sess:
    a, b = sess.run([res1, res2])
    print a, b
    print a == b

Aqui, crio um logitsvetor aleatório de comprimento dimse gero rótulos codificados com um único elemento (em que o elemento in posé 1 e os outros são 0).

Depois disso, calculo o softmax e o softmax esparso e comparo sua saída. Tente executá-lo novamente algumas vezes para se certificar de que sempre produz o mesmo resultado