Estatísticas e Big Data

Estou tentando entender a regressão logística de Firth (método de lidar com a separação perfeita / completa ou quase-completa na regressão logística) para que eu possa explicá-la a outras pessoas em termos simplificados. Alguém tem uma explicação idiota sobre que modificação a estimativa de Firth está fazendo no MLE? Eu …

13 logistic  maximum-likelihood  separation 

Aprendi que, ao escolher um número de clusters, você deve procurar um ponto de cotovelo para diferentes valores de K. Plotei os valores de ininss para valores de k de 1 a 10, mas não estou vendo uma clara cotovelo. O que você faz em um caso como esse?

13 clustering  k-means 

Entendo que o princípio básico por trás do algoritmo para LLE consiste em três etapas. Localizando a vizinhança de cada ponto de dados por alguma métrica como k-nn. Encontre pesos para cada vizinho que denotem o efeito que o vizinho tem no ponto de dados. Construa a incorporação de baixa …

13 machine-learning  model-selection  feature-selection  dimensionality-reduction  nonlinear 

Estou estudando modelos gráficos probabilísticos , um livro para auto-estudo. As arestas em um gráfico acíclico direcionado (DAG) representam relações causais? E se eu quiser construir uma rede bayesiana , mas não tiver certeza da direção das setas nela? Todos os dados vão me dizer são as correlações observadas, não …

13 causality  graphical-model  bayesian-network  dag 

Eu gostaria de usar a imputação para substituir valores ausentes no meu conjunto de dados sob certas restrições. Por exemplo, eu gostaria que a variável imputada x1fosse maior ou igual à soma das minhas outras duas variáveis, digamos x2e x3. Eu também quero x3ser imputado por um 0ou outro >= …

13 r  spss  missing-data  multiple-imputation 

Eu tenho alguns dados que eu uso suave loess. Eu gostaria de encontrar os pontos de inflexão da linha suavizada. Isso é possível? Tenho certeza que alguém criou um método sofisticado para resolver isso ... quero dizer ... afinal, é R! Estou bem com a alteração da função de suavização …

13 r  smoothing  loess 

Eu li algumas explicações sobre as propriedades de modelos lineares versus não lineares, mas ainda não tenho certeza se um modelo disponível é linear ou não linear. Por exemplo, o seguinte modelo é linear ou não linear? yt=β0+β1B(L;θ)Xt+εtyt=β0+β1B(L;θ)Xt+εty_t=\beta_0 + \beta_1B(L;\theta)X_t+\varepsilon_t Com: B(L;θ)=∑k=1Kb(k;θ)LkB(L;θ)=∑k=1Kb(k;θ)LkB(L;\theta)=\sum_{k=1}^{K}b(k;\theta)L^k LkXt=Xt−kLkXt=Xt−kL^kX_t=X_{t-k} Onde representa a função polinomial de Almon …

13 linear-model  nonlinear-regression  nonlinear 

Estou executando kmeans para identificar grupos de clientes. Eu tenho aproximadamente 100 variáveis ​​para identificar clusters. Cada uma dessas variáveis ​​representa a% de gasto de um cliente em uma categoria. Portanto, se eu tiver 100 categorias, tenho essas 100 variáveis, de modo que a soma dessas variáveis ​​seja 100% para …

13 clustering  data-mining  k-means  multicollinearity  compositional-data 

Diferentes livros citam condições diferentes para a existência de uma matriz de informações de Fisher. Várias dessas condições estão listadas abaixo, cada uma das quais aparece em algumas, mas não em todas, das definições de "matriz de informações de Fisher". Existe um conjunto padrão e mínimo de condições? Das 5 …

13 fisher-information 

Gostaria de comparar os modelos selecionados com cume, laço e rede elástica. A Fig. Abaixo mostra os caminhos dos coeficientes usando todos os três métodos: crista (Fig A, alfa = 0), laço (Fig B; alfa = 1) e rede elástica (Fig C; alfa = 0,5). A solução ideal depende do …

13 r  multiple-regression  modeling  regularization 

Os coeficientes de correlação phi e Matthews são o mesmo conceito? Como eles estão relacionados ou equivalentes ao coeficiente de correlação de Pearson para duas variáveis ​​binárias? Presumo que os valores binários sejam 0 e 1. A correlação de Pearson entre duas variáveis aleatórias de Bernoulli e y é:xxxyyy ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]−−−−−−−−−−√=E[xy]−E[x]E[y]Var[x]Var[y]−−−−−−−−−−√=n11n−n1∙n∙1n0∙n1∙n∙0n∙1−−−−−−−−−−√ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]=E[xy]−E[x]E[y]Var[x]Var[y]=n11n−n1∙n∙1n0∙n1∙n∙0n∙1 …

13 correlation  contingency-tables  bernoulli-distribution  model-evaluation  confusion-matrix 

Estou fazendo algumas previsões em R usando o pacote de previsões de Rob Hyndman . O documento pertencente à embalagem pode ser encontrado aqui . No artigo, depois de explicar os algoritmos de previsão automática, os autores implementam os algoritmos no mesmo conjunto de dados. No entanto, depois de estimar …

13 time-series  forecasting  model-selection  aic 

Atualmente, tenho um problema ao entender a sintaxe do R para ajustar um GLM usando a distribuição Gamma. Eu tenho um conjunto de dados, em que cada linha contém 3 co-variáveis ​​( X1,X2,X3X1,X2,X3X_1, X_2, X_3 ), uma variável de resposta ( YYY ) e um parâmetro de forma ( KKK …

13 r  generalized-linear-model  gamma-distribution  dglm 

Examinei muita literatura disponível on-line, incluindo este fórum sem sorte e esperando que alguém possa ajudar em um problema estatístico que atualmente enfrento: Eu tenho 5 listas de dados classificados, cada um contendo 10 itens classificados da posição 1 (melhor) até a posição 10 (pior). Por uma questão de contexto, …

13 statistical-significance  ranking  valuation 

Nos últimos dias, tenho tentado entender como o Markov Chain Monte Carlo (MCMC) funciona. Em particular, tenho tentado entender e implementar o algoritmo Metropolis-Hastings. Até agora, acho que tenho uma compreensão geral do algoritmo, mas há algumas coisas que ainda não estão claras para mim. Eu quero usar o MCMC …

13 mcmc  metropolis-hastings