O desempenho preditivo depende mais da experiência do analista de dados do que do método?

Eu me deparei com um boato de que algum estudo mostrou que o desempenho de modelos preditivos depende mais da experiência do analista de dados com o método escolhido do que da escolha do método.
Em outras palavras, a alegação é que é mais importante que o analista de dados esteja familiarizado com o método escolhido do que quão "apropriado" o método pareceria para o problema de um ponto de vista mais teórico.

Isso foi mencionado no contexto da quimiometria, que envolve tipicamente problemas de muitas variáveis (100s - 1000s), colinearidade múltipla e, é claro, poucas amostras. A previsão pode ter sido classificação ou regressão.

Minha experiência pessoal sugere que isso é plausível , mas um estudo foi mencionado (perguntei à pessoa que mencionou isso por e-mail após uma pesquisa rápida, mas sem êxito, mas nunca recebeu resposta). No entanto, também com uma pesquisa mais elaborada, não consegui rastrear nenhum artigo.

Alguém está ciente dessas descobertas? Se não, o que a experiência pessoal dos Caras Grandes aqui diz?

predictive-models method-comparison

— cbeleites apoia Monica
fonte

Sou um pouco mais carinha por aqui, mas o que vi nas Redes Neurais apóia esta hipótese: longe de ser uma ferramenta "pronta para uso", em que "a máquina aprende" algo, uma classificação ou previsão bem-sucedida parece depender de uma muito sobre o quão inteligente é a pessoa que conta a rede como aprender a partir dos dados - o mais importante em termos de dados de pré-processamento, mas também em termos de arquitetura de rede etc.

— Stephan Kolassa

Eu acho que é a figura 2.4 de The Elements of Statistical Learning, onde eles comparam vizinhos mais próximos com métodos do tipo recessão (e, é claro, eles fornecem vários pontos de comparação ao longo do livro).

— StasK

@ Task: obrigado pelo lembrete (vergonha de mim por não lembrar). Eles também relatam que, na prática, a PCR, PLS e regressão de crista são muito semelhantes, e LDA e regressão logística também. No entanto, os últimos métodos também são muito semelhantes do ponto de vista teórico.

— Cbeleites suporta Monica

Na verdade, ouvi rumores de que máquinas decentes de aprendizado geralmente são melhores que especialistas, porque a tendência humana é minimizar a variação às custas do viés (excessivamente suave), levando a um desempenho preditivo ruim em novos conjuntos de dados. A máquina é calibrada para minimizar o MSE e, portanto, tende a se sair melhor em termos de previsão em um novo conjunto de dados .

— guest47
fonte

Na minha experiência, é certamente verdade que os humanos tendem a se superestimar. No entanto, na minha experiência, você também precisa de um especialista decente que escolha a máquina de aprendizado não adequada. Caso contrário, alguém apenas escolhe uma máquina de aprendizado que se adapta demais.

— Cbeleites suporta Monica

O MSE em geral não protege contra o excesso de ajustes, a menos que você restrinja muito o modelo - e aí o especialista entra novamente. No entanto, as pessoas tentam otimizar, por exemplo, os hiperparâmetros do modelo. As estratégias de otimização particularmente iterativas são super ajustadas (MSE ou não), a menos que você possa pagar um conjunto completamente novo de dados de teste independentes para cada iteração. Talvez eu deva dizer que venho de um campo em que casos de teste são muito raros. E, em qualquer caso, você pode argumentar que essa não é uma máquina de aprendizado decente .

— Cbeleites suporta Monica