De onde veio o termo "aprender um modelo"

Muitas vezes, ouvi os mineradores de dados aqui usarem esse termo. Como estatístico que trabalhou em problemas de classificação, estou familiarizado com o termo "treinar um classificador" e presumo que "aprenda um modelo" significa a mesma coisa. Não me importo com o termo "treinar um classificador". Isso parece retratar a ideia de ajustar um modelo, pois os dados de treinamento são usados ​​para obter estimativas boas ou "aprimoradas" dos parâmetros do modelo. Mas o que aprenderia significa ganhar conhecimento. Em inglês simples, "aprender um modelo" significaria saber o que é. Mas, na verdade, nunca "conhecemos" o modelo. Os modelos aproximam a realidade, mas nenhum modelo está correto. É como Box disse: "Nenhum modelo está correto, mas alguns são úteis".

Eu estaria interessado em ouvir a resposta dos mineradores de dados. Como o termo se originou? Se você o usa, por que gosta?

Suspeito que suas origens estejam na comunidade de pesquisa de redes neurais artificiais, onde a rede neural pode ser vista como aprendendo um modelo de dados através da modificação de pesos sinápticos de maneira semelhante àquela que ocorre no cérebro humano à medida que aprendemos com experiência. Minha carreira de pesquisa começou em redes neurais artificiais, então às vezes uso a frase.

Talvez faça mais sentido se você pensar no modelo como sendo codificado nos parâmetros do modelo, e não na equação, da mesma maneira que um modelo mental não é um componente físico identificável do cérebro tanto quanto um conjunto de parâmetros. configurações para alguns de nossos neurônios.

Observe que também não há implicações de que um modelo mental esteja necessariamente correto!

O termo é bastante antigo em inteligência artificial. Turing dedicou uma longa seção sobre "Máquinas de Aprendizagem" em seu artigo de 1950 sobre Computing Machinery and Intelligence na Mind , e descreve qualitativamente o aprendizado supervisionado. O artigo original de Rosenblatt: O Perceptron: Um Modelo Probabilístico para Armazenamento e Organização da Informação no jornal Brain de 1958 fala extensivamente sobre um "Modelo Matemático de Aprendizagem". Aqui o perceptron era um "modelo de aprendizado"; modelos não foram "aprendidos".

O artigo de Pitts e McCullough de 1943 - o artigo original "redes neurais" - não estava realmente preocupado com o aprendizado, mas como se poderia construir um cálculo lógico (como um sistema de Hilbert ou Gentzen, mas acho que eles se referem a Russell / Whitehead) que poderia realizar inferência. Eu acho que foi o artigo "Perceptrons" que introduziu uma noção numérica, em oposição à noção simbólica de aprendizado nessa tradição.

É possível que uma máquina aprenda a jogar xadrez apenas com exemplos? Sim. Tem um modelo para jogar xadrez? Sim. É o modelo ideal (supondo que exista)? Quase certamente não. Em inglês simples, eu "aprendi xadrez" se posso jogar xadrez bem - ou talvez muito bem. Isso não significa que eu sou o melhor jogador de xadrez. É nesse sentido que Turing descreveu o "aprendizado" quando discutiu o aprendizado do xadrez em seu trabalho.

Sou muito inconsistente com o termo que uso. Então (por exemplo) para aprender dentro do limite, eu diria "identificar", para aprender SVM, diria "treinar", mas para MCMC- "aprender", diria "otimizar". E, por exemplo, eu chamo de regressão "regressão".

Como pesquisador no Aprendizado de Máquina Bioplausável, concordo plenamente que "nenhum modelo está correto, mas alguns são úteis", e, de fato, modelos e formalismos apresentam fortes falhas, conforme usado por autores que falam sobre otimização do problema, quando o que estão fazendo está otimizando um modelo, ou seja, explorando seu espaço de parâmetros e encontrando um ótimo local ou, se possível, global. Geralmente, isso não é o ideal para o problema real . Enquanto o criador de um modelo normalmente usa a terminologia correta e expõe todas as suposições, a maioria dos usuários encobre as suposições, que geralmente são conhecidas por não serem mantidas, e também usa linguagem menos precisa sobre "aprendizado" e "otimização" e " parametrização".

Eu acho que essa parametrização ideal de um modelo é o que as pessoas significariam em Machine Learning, particularmente em Machine Learning supervisionado, embora eu não possa dizer que ouvi muito "aprender um modelo" - mas isso ocorre e a pessoa treina o modelo, o computador aprende os parâmetros do modelo. Mesmo no aprendizado não supervisionado, o "aprendizado" é na maioria das vezes simplesmente parametrização de um modelo e, esperançosamente, "aprendizado de um modelo" é, portanto, a parametrização ideal de um modelo (embora muitas vezes diferentes maneiras de pesquisar no espaço de parâmetros encontrem soluções diferentes, mesmo que possam ser comprovadas). otimizar a mesma coisa). Eu preferiria usar "treinando um modelo"

De fato, a maior parte de minha pesquisa é sobre o aprendizado do modelo em termos de descoberta de um modelo melhor ou de um modelo mais computacional e cognitivo / biologicamente / ecologicamente plausível.