Diferença na base de log para a calcificação de entropia cruzada


8

Comecei a seguir os tutoriais do TensorFlow aqui e tenho uma pequena pergunta sobre os cálculos de entropia cruzada. Na maioria dos lugares que vi entropia cruzada calculada usando o log da base 2, mas o tf.log é a base e. Sob quais condições o uso de uma base de log seria preferido em relação à outra?


Não faz diferença se usado de forma consistente.
3030 Carl

Respostas:


15

log base ee log base 2 são apenas um fator constante um do outro:

logenlog2n=loge2logee=loge2

Portanto, usar um sobre o outro escala a entropia por um fator constante. Ao usar a base de log 2, a unidade de entropia é bits, onde, como no log natural, a unidade é nats.

Um não é melhor que o outro. É como a diferença entre usar km / hora e m / s.

É possível que a base de log 2 seja mais rápida de calcular que o logaritmo. No entanto, na prática, a computação de entropia cruzada nunca é a parte mais cara do algoritmo, portanto não é algo com que se preocupar excessivamente.

Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.