Qual é exatamente a diferença entre um modelo paramétrico e não paramétrico?

Estou confuso com a definição de modelo não paramétrico depois de ler este link Modelos paramétricos versus modelos não paramétricos e responder aos comentários da minha outra pergunta .

Originalmente, pensei que "paramétrico versus não paramétrico" significa se temos suposições de distribuição no modelo (semelhante ao teste de hipótese paramétrica ou não paramétrica). Mas ambos os recursos afirmam que "paramétrico versus não paramétrico" podem ser determinados se o número de parâmetros no modelo depende do número de linhas na matriz de dados.

Para a estimativa da densidade do kernel (não paramétrica), essa definição pode ser aplicada. Mas, sob essa definição, como uma rede neural pode ser um modelo não paramétrico, pois o número de parâmetros no modelo depende da estrutura da rede neural e não do número de linhas na matriz de dados?

Qual é exatamente a diferença entre um modelo paramétrico e um não paramétrico?

— Haitao Du
fonte

Observe que "não paramétrico" em relação aos modelos distributivos (como em sua referência a testes de hipóteses) se refere ao número de parâmetros usados para definir a distribuição ("paramétrico" = definido por um número fixo de parâmetros; os métodos não paramétricos não têm um distribuição com um número fixo de parâmetros - eles tendem a ter pressupostos mais leves, como continuidade ou simetria)

— Glen_b -Reinstate Monica

Minha opinião: atenha-se à sua definição. É uma definição sistemática, como devem ser as definições. O outro é instável: você primeiro precisa definir o "número de parâmetros efetivos" de um algoritmo. Mas eu sempre vi essa quantidade definida caso a caso (ou seja, você tem uma definição para uma regressão linear, uma para o vizinho mais próximo, uma para redes neurais ..). Portanto, a menos que alguém possa oferecer uma definição geral e sistemática do número efetivo de parâmetros, não posso levar essa definição a sério.

— Adrien

Encontrado no link abaixo, que apresenta boas explicações sobre algoritmos paramétricos de aprendizado de máquina e algoritmos não paramétricos de aprendizado de máquina. machinelearningmastery.com/...

— Satya

Respostas:

Em um modelo paramétrico, o número de parâmetros é fixo em relação ao tamanho da amostra. Em um modelo não paramétrico, o número (efetivo) de parâmetros pode aumentar com o tamanho da amostra.

Em uma regressão OLS, o número de parâmetros sempre será o comprimento de , mais um para a variação. $\beta$

Uma rede neural com arquitetura fixa e sem redução de peso seria um modelo paramétrico.

Mas se você tiver decaimento de peso, o valor do parâmetro de decaimento selecionado pela validação cruzada geralmente ficará menor com mais dados. Isso pode ser interpretado como um aumento no número efetivo de parâmetros com o aumento do tamanho da amostra.

— generic_user
fonte

Certamente, embora o parâmetro de redução de peso ainda seja um único parâmetro adicional e não (a menos que eu esteja enganado) altere a estrutura da rede. Como pode ser interpretado como um aumento no número de parâmetros à medida que o tamanho da amostra aumenta?

— Morgan Ball

A queda de peso é um hiperparâmetro. Leia aqui sobre graus efetivos de liberdade na regularização: statweb.stanford.edu/~tibs/sta305files/Rudyregularization.pdf. Embora as redes neurais não sejam lineares, a redução de peso desempenha a mesma função que uma penalidade quadrática nesses modelos.

— generic_user

Eu (é claro) concordo com a intuição de parâmetros efetivos, mas não concordo em usar essa noção para definir parâmetros paramétricos / não paramétricos; veja meu comentário na pergunta.

— Adrien

Sim, eu entendo o seu ponto. Mas suponho que pessoas razoáveis possam discordar sobre se a instabilidade de uma definição a torna uma definição inútil, ceteris paribus.

— 21417 java_local

Eu já vi essa explicação antes e não gostei. Dessa forma, posso chamar de mínimos quadrados comuns com retração um método não paramétrico, porque os parâmetros "efetivos" podem ser menores que os coeficientes. Eu acho que não é uma categorização útil, pois borra a linha entre métodos realmente não paramétricos

— Aksakal

Penso que se o modelo é definido como um conjunto de equações (pode ser um sistema de equações simultâneas ou uma única) e aprendemos seus parâmetros, então é paramétrico. Isso inclui equações diferenciais e até a equação de Navier-Stokes. Os modelos definidos descritivamente, independentemente de como são resolvidos, se enquadram na categoria de não paramétricos. Assim, o OLS seria paramétrico, e até a regressão quantílica, embora pertença ao domínio da estatística não paramétrica, é um modelo paramétrico.

Por outro lado, quando usamos o SEM (modelagem de equações estruturais) para identificar o modelo, ele seria um modelo não paramétrico - até que tenhamos resolvido o SEM. O PCA seria paramétrico, porque as equações são bem definidas, mas o CCA pode ser não paramétrico, porque estamos procurando correlações em todas as variáveis e, se são as correlações de Spearman, temos um modelo não paramétrico. Com as correlações de Pearson, sugerimos um modelo paramétrico (linear). Penso que os algoritmos de agrupamento seriam não paramétricos, a menos que procuremos agrupamentos de certa forma.

E então temos a regressão não paramétrica, que não é paramétrica, e a regressão LOESS, que é paramétrica, mas serve ao mesmo propósito: definimos a equação e a janela.

— AlexG
fonte

Suas descrições são bastante vagas e parecem divergir do significado estatístico padrão de "paramétrico" e "não paramétrico". Em particular, você adotou uma posição incomum em relação a algumas técnicas específicas, como LOESS, que geralmente é considerada não paramétrica: veja en.wikipedia.org/wiki/Local_regression, por exemplo.

— whuber

@whuber obrigado pelo link! Você está correto: LOESS é considerado não paramétrico. O que é bastante contra-intuitivo para mim. E a suavização exponencial? Não é paramétrico porque o peso de cada ponto é diferente? Ou é paramétrico porque o alfa é o mesmo para toda a série temporal?

— AlexG # 1/18

Os parâmetros em situações paramétricas não necessariamente contam muitos números. Eles se referem a como é necessário descrever uma família de modelos estatísticos. Por exemplo, quando um procedimento ajusta um único valor aos dados (talvez por validação cruzada, talvez por outros meios), mas assume apenas que os dados são uma amostra aleatória de qualquer distribuição, esse procedimento não é paramétrico.

— whuber

Modelo paramétrico podem ser emitidas usando uma equação, como modelo de regressão logística, . O modelo não paramétrico são algoritmos de caixa preta como floresta aleatória, árvore de decisão. Não existe uma equação que possa descrever a relação de atributos por trás do modelo. $logodds(G)=int + ax_1 + bx_2 + ...$

— Cali
fonte

Também posso escrever equações para métodos de estimativa de kernel, que não são paramétricos.

— HelloWorld 20/03

errado - você pode escrever equações explícitas e simples para a média preditiva e a variação preditiva dos Processos Gaussianos, que são um dos métodos de regressão não paramétricos mais comuns e para muitos outros métodos de regressão não paramétricos.

— DeltaIV 20/03/19