Quais são os exemplos da vida real de "modelos estatísticos não paramétricos"?

11

Estou lendo o artigo da Wikipedia sobre modelos estatísticos aqui e estou um pouco perplexo quanto ao significado de "modelos estatísticos não paramétricos", especificamente:

Um modelo estatístico não é paramétrico se o conjunto de parâmetros $\Theta$ for dimensional infinito. Um modelo estatístico é semiparamétrico se tiver parâmetros de dimensão finita e de dimensão infinita. Formalmente, se $d$ é a dimensão de $\Theta$ e $n$ é o número de amostras, os modelos semiparamétricos e não paramétricos têm como . Se como , o modelo será semiparamétrico; caso contrário, o modelo não é paramétrico. $d \rightarrow \infty$ $n \rightarrow \infty$ $d/n \rightarrow 0$ $n \rightarrow \infty$

Entendo que, se a dimensão (entendo literalmente o número de parâmetros) de um modelo é finita, então este é um modelo paramétrico.

O que não faz sentido para mim é como podemos ter um modelo estatístico que possui um número infinito de parâmetros, de modo que podemos chamá-lo de "não paramétrico". Além disso, mesmo que fosse esse o caso, por que o "não-", se de fato há um número infinito de dimensões? Por fim, como estou falando disso de um aprendizado de máquina, há alguma diferença entre esse "modelo estatístico não paramétrico" e, por exemplo, "modelos de aprendizado de máquina não paramétricos"? Finalmente, o que poderiam ser alguns exemplos concretos de tais "modelos dimensionais infinitos não paramétricos"?

nonparametric model

— Creatron
fonte

3

Usando outra página da Wiki ( en.wikipedia.org/wiki/… ): 'Modelos não paramétricos diferem dos modelos paramétricos, pois a estrutura do modelo não é especificada a priori, mas é determinada a partir dos dados. O termo não paramétrico não pretende implicar que esses modelos carecem de parâmetros completamente, mas que o número e a natureza dos parâmetros são flexíveis e não são previamente fixados. portanto, não paramétrico não está tendo um número infinito de parâmetros, mas um número desconhecido de parâmetros.

— Riff

Tenho uma dúvida. Nos modelos não paramétricos, definimos a estrutura do modelo a priori. Por exemplo, nas Árvores de decisão (que é um modelo não paramétrico), definimos max_depth. Então, como você pode dizer que esse parâmetro é realmente aprendido / determinado a partir dos dados em si e não pré-determinado por nós?

— Amarpreet Singh

4

Como Johnnyboycurtis respondeu, métodos não paramétricos são aqueles que não assumem a distribuição da população ou o tamanho da amostra para gerar um modelo.

Um modelo k-NN é um exemplo de modelo não paramétrico, pois não considera nenhuma suposição para desenvolver um modelo. Um Naive Bayes ou K-means é um exemplo de paramétrico, pois assume uma distribuição para a criação de um modelo.

Por exemplo, K-means assume o seguinte para desenvolver um modelo Todos os clusters são esféricos (iid Gaussian). Todos os eixos têm a mesma distribuição e, portanto, variação. Todos os clusters são de tamanho uniforme.

Quanto ao k-NN, ele usa o conjunto de treinamento completo para previsão. Ele calcula os vizinhos mais próximos a partir do ponto de teste para previsão. Ele não assume distribuição para criar um modelo.

Para mais informações:

— prashanth
fonte

Você pode expandir isso, por favor? Por que KNN é um exemplo de não paramétrico e por que K-means pode ser? São esses detalhes que eu busco, especialmente exemplos de métodos não paramétricos e por que / como eles não assumem a distribuição da população. Obrigado!

— Creatron

@Crtron Modifiquei a resposta para obter mais explicações.

— precisa

3

Então, acho que você está perdendo alguns pontos. Primeiro, e mais importante,

Um método estatístico é chamado de não paramétrico se não assume a distribuição da população ou o tamanho da amostra.

Aqui está um tutorial simples (aplicado) sobre alguns modelos não paramétricos: http://www.r-tutor.com/elementary-statistics/non-parametric-methods

Um pesquisador pode decidir usar um modelo não paramétrico versus um modelo paramétrico, digamos, regressão não paramétrica versus regressão linear, é porque os dados violam as suposições mantidas pelo modelo paramétrico. Como você tem experiência em ML, presumo que você nunca aprendeu as suposições típicas do modelo de regressão linear. Aqui está uma referência: https://statistics.laerd.com/spss-tutorials/linear-regression-using-spss-statistics.php

A violação de suposições pode distorcer suas estimativas de parâmetros e, finalmente, aumentar o risco de conclusões inválidas. Um modelo não paramétrico é mais robusto para valores discrepantes, não lineares e não depende de muitas suposições de distribuição populacional; portanto, pode fornecer resultados dignos de confiança ao tentar fazer inferências ou previsões.

Para um tutorial rápido sobre regressão não paramétrica, recomendo estes slides: http://socserv.socsci.mcmaster.ca/jfox/Courses/Oxford-2005/slides-handout.pdf

— Jon
fonte

Obrigado pelos links, vou passar por eles. Uma coisa, porém, é como devemos casar isso com o "número infinito de parâmetros" que compõem um modelo "não paramétrico"? Obrigado

— Creatron

Não há citação para esse "número infinito de parâmetros", então não posso comentar. Eu nunca vi essa referência ao tópico do modelo estatístico não paramétrico, portanto, precisaria ver uma referência antes de poder fornecer uma resposta / interpretação. Por enquanto, eu me preocuparia com as suposições de modelos específicos versus um campo inteiro.

— 19616 Jon

O artigo da wikipedia citado na minha pergunta se refere à dimensionalidade infinita. Literalmente: "Um modelo estatístico não é paramétrico se o conjunto de parâmetros for de dimensão infinita." O que isto significa? É a isso que estou me referindo.

— Creatron

Eu sei. Mas a Wikipedia não fornece uma citação para essa afirmação. Não pode confiar em algo sem uma referência.

— Jon

3

Atualmente, estou fazendo um curso de aprendizado de máquina, onde usamos a seguinte definição de modelos não paramétricos: "Modelos não paramétricos crescem em complexidade com o tamanho dos dados".

Modelo paramétrico

$w \in ℝ ^d$

f (x) = W^{T} x

$f(x) = w^Tx$

Modelos não paramétricos

f (x) = \sum_{Eu = 1}^{n} α_{Eu} k (x_{Eu}, x)

$f(x) = \sum_{i=1}^n \alpha_i k(x_i, x)$

n

$n$

α_{i}

$\alpha_i$

k (x_{i}, x)

$k(x_i, x)$

α_{i}

$\alpha_i$

n

$n$

f (x) = s Eu g n (\sum_{Eu = 1}^{n} α_{Eu} y_{Eu} k (x_{Eu}, x)))

$f(x) = sign( \sum_{i=1}^n \alpha_i y_i k(x_i,x)))$

$\alpha_i$ $n \to \infty$ $d \to \infty$

Peguei a função de regressão do kernel dos meus slides de aula e a função perceptron kernelizada da wikipedia: https://en.wikipedia.org/wiki/Kernel_method

— sop_se
fonte