Como obter previsões com o forecast_generator no streaming de dados de teste no Keras?

No blog Keras sobre convnets de treinamento do zero , o código mostra apenas a rede em execução nos dados de treinamento e validação. E os dados de teste? Os dados de validação são os mesmos que os dados de teste (acho que não). Se havia uma pasta de teste separada em linhas semelhantes às pastas de treinamento e validação, como obter uma matriz de confusão para os dados de teste. Sei que precisamos usar o scikit learn ou algum outro pacote para fazer isso, mas como obtenho algo parecido com as probabilidades de classe para dados de teste? Espero usar isso para a matriz de confusão.

Para obter uma matriz de confusão a partir dos dados de teste, você deve seguir duas etapas:

1. Faça previsões para os dados de teste

Por exemplo, use model.predict_generatorpara prever as primeiras 2000 probabilidades do gerador de teste.

generator = datagen.flow_from_directory(
        'data/test',
        target_size=(150, 150),
        batch_size=16,
        class_mode=None,  # only data, no labels
        shuffle=False)  # keep data in same order as labels

probabilities = model.predict_generator(generator, 2000)

2. Calcular a matriz de confusão com base nas previsões do rótulo

Por exemplo, compare as probabilidades com o caso de haver 1000 gatos e 1000 cães, respectivamente.

from sklearn.metrics import confusion_matrix

y_true = np.array([0] * 1000 + [1] * 1000)
y_pred = probabilities > 0.5

confusion_matrix(y_true, y_pred)

Nota adicional sobre dados de teste e validação

A documentação do Keras usa três conjuntos diferentes de dados: dados de treinamento, dados de validação e dados de teste. Os dados de treinamento são usados ​​para otimizar os parâmetros do modelo. Os dados de validação são usados ​​para fazer escolhas sobre os meta-parâmetros, por exemplo, o número de épocas. Após a otimização de um modelo com meta-parâmetros ideais, os dados de teste são usados ​​para obter uma estimativa justa do desempenho do modelo.

Aqui está um código que tentei e trabalhei para mim:

pred= model.predict_generator(validation_generator, nb_validation_samples // batch_size)
predicted_class_indices=np.argmax(pred,axis=1)
labels = (validation_generator.class_indices)
labels2 = dict((v,k) for k,v in labels.items())
predictions = [labels[k] for k in predicted_class_indices]
print(predicted_class_indices)
print (labels)
print (predictions)

Você pode então usar:

print (confusion matrix(predicted_class_indices,labels)

Certifique-se de usar shuffle=Falseem seu gerador de teste (no meu caso, é um gerador de validação) e redefina-o usando validation_generator.reset()antes de fazer suas previsões.

Para matriz de confusão, você deve usar o pacote sklearn. Não acho que Keras possa fornecer uma matriz de confusão. Para prever valores no conjunto de testes, basta chamar o método model.predict () para gerar previsões para o conjunto de testes. O tipo de valores de saída depende do tipo de modelo, ou seja, discreto ou probabilidades.