Como e por que os MLPs para classificação diferem dos MLPs para regressão? Diferentes funções de retropropagação e transferência?

Estou usando dois perceptrons de múltiplas camadas de feedforward de múltiplas camadas (MLPs). Com os mesmos dados de entrada (14 neurônios de entrada), faço uma classificação (verdadeiro / falso) e uma regressão (se verdadeiro, "quanto") ¹. Até agora, usei preguiçosamente o Matlabs patternnet e fitnet , respectivamente. Preguiçosamente, porque não tomei tempo para realmente entender o que está acontecendo - e deveria. Além disso, preciso fazer a transição para uma biblioteca OSS (provavelmente da FANN), que provavelmente exigirá mais configurações manuais do que a Matlab NN Toolbox. Portanto, estou tentando entender com mais precisão o que está acontecendo.

As redes criadas patternnete fitnetsão quase idênticas: 14 neurônios de entrada, 11 neurônios ocultos, 1 neurônio alvo (2 para a fitnet, mas apenas 1 informação). Mas eles não são completamente idênticos. As diferenças por padrão são:

• O Matlab usa uma retropropagação em gradiente conjugado em escala para a rede de classificação ( patternnet) e retropropagação de Levenberg-Marquardt para a rede de regressão ( fitnet).
• A rede de classificação usa uma função de transferência sigmóide tangente hiperbólica entre a camada de entrada e oculta e entre a camada oculta e a saída. A rede de regressão ( fitnet) usa a função de transferência sigmóide tangente hiperbólica entre a camada de entrada e oculta e uma função de transferência puramente linear entre a camada oculta e a saída.

Essas diferenças deveriam ser?

Que tipo de funções de retropropagação são ideais para classificação e que tipo de regressão e por quê?

Que tipo de funções de transferência são ideais para classificação e que tipo de regressão e por quê?

¹ ^{A classificação é para "nublado" ou "sem nuvens" (2 destinos complementares), a regressão é para quantificar "quanta nuvem" (1 destino).}

A principal diferença está no critério de treinamento. Um critério de treinamento de mínimos quadrados é freqüentemente usado para regressão, pois isso fornece (penalizado) a estimativa da máxima probabilidade dos parâmetros do modelo, assumindo que o ruído gaussiano corrompe a variável resposta (alvo). Para problemas de classificação, é comum o uso de um critério de treinamento de entropia cruzada, para fornecer uma estimativa de probabilidade máxima, assumindo uma perda de Bernoilli ou multinomial. De qualquer forma, as saídas do modelo podem ser interpretadas como estimativa da probabilidade de associação à classe, mas é comum usar funções de ativação logística ou de softmax na camada de saída para que as saídas sejam restritas a ficar entre 0 e 1 e somar 1. Se você usar a função tanh, poderá remapear essas probabilidades adicionando uma e dividindo por duas (mas, caso contrário, é a mesma).

A diferença entre gradientes conjugados em escala e Levenberg-Marquardt provavelmente será bastante pequena em termos de desempenho de generalização.

Eu recomendaria fortemente a caixa de ferramentas NETLAB para o MATLAB sobre a própria caixa de ferramentas de rede neural do MATLAB. Provavelmente, é uma boa ideia investigar a regularização bayesiana para evitar ajustes excessivos ( vale a pena ler o livro de Chris Bishop e a maior parte dele é abordada na caixa de ferramentas do NETLAB).