Ao executar a validação cruzada de dobras k, entendo que você obtém as métricas de precisão apontando todas as dobras, exceto uma nessa dobra, e fazendo previsões, e repita esse processo vezes. Você pode executar métricas de precisão em todas as suas instâncias (precisão, recall,% classificada corretamente), que devem ser as mesmas que se você as calculasse todas as vezes e calculasse a média do resultado (corrija-me se estiver errado).
O resultado final que você deseja é um modelo final.
Respostas:
A mira de validação cruzada em duplicado não é produzir um modelo; é comparar modelos.
Os resultados de um experimento de validação cruzada podem indicar que o Support Vector Machines supera o Naive Bayes em seus dados ou que os hiper parâmetros do classificador devem ser definidos como c para esse conjunto de dados específico. Armado com esse conhecimento, você treina um classificador de "produção" com TODOS os dados disponíveis e aplica-o ao seu problema.
Em muitos casos, ainda não está claro como você calcula a média de vários modelos. Por exemplo, qual é a média de três árvores de decisão ou classificadores de vizinhos mais próximos?
É importante ter em mente que os resultados da validação cruzada são estimativas, não garantias, e essas estimativas são mais válidas se o classificador de produção for treinado com uma qualidade (e quantidade) similar de dados. Houve bastante trabalho no desenvolvimento de maneiras de usar essas estimativas para realizar inferência; isto é, de maneira estatisticamente sólida, esse método A é geralmente superior ao método B nesses dados.