Estatísticas e Big Data

Falou-se sobre outras questões de como alguém poderia usar a abordagem Testa (dois testes unilaterais) para o teste de Kolmogorov-Smirnov (KS), mas eu queria saber se era possível usar diretamente a estatística de teste para mostrar que dois distribuições foram semelhantes? Pelo que entendi, a estatística do teste KS representa …

8 distributions  kolmogorov-smirnov  equivalence  tost 

Digamos que sabemos o significado de uma determinada distribuição. Isso afeta a estimativa de intervalo da variação de uma variável aleatória (que de outra forma é calculada usando a variação da amostra)? Como em, podemos obter um intervalo menor para o mesmo nível de confiança?

8 normal-distribution  confidence-interval  variance 

Por que um GLM prevê a média e não o modo de um sinal? Isso não contradiz a própria base do GLM, ou seja, a máxima probabilidade? As equações a serem resolvidas para os parâmetros do modelo em um GLM são baseadas na maximização da probabilidade, conforme descrito pela distribuição …

8 generalized-linear-model  maximum-likelihood  mean  mode 

Eu tenho um conjunto de dados contendo atividade do usuário com 168 dimensões, onde desejo extrair clusters usando aprendizado não supervisionado. Não é óbvio para mim se devo usar uma abordagem de modelagem de tópicos na alocação de Dirichlet Latente (LDA) ou Modelos de Mistura Gaussiana (GMM), que é mais …

8 clustering  gaussian-mixture  unsupervised-learning  topic-models 

Eu tenho um conjunto de dados x, y que estou usando para criar uma floresta aleatória. Os dados x são um vetor de valores que inclui algumas NAs. Então, eu uso rfImputepara manipular os dados ausentes e criar uma floresta aleatória. Agora eu tenho uma nova observação invisível x (com …

8 r  random-forest  missing-data 

Eu me pergunto sobre a finura ideal da grade e qual é a relação entre a finura da grade e a super adaptação em métodos de regularização como LASSO, regressão de crista ou rede elástica. Suponha que eu queira ajustar um modelo de regressão usando LASSO a uma amostra de …

8 lasso  regularization  ridge-regression  overfitting  elastic-net 

Suponha que eu tenha um resultado contínuo ye dois fatores preditores fatoriais, cada um com dois níveis. Um dos meus preditores categóricos,, drugpode ter dois níveis ("A" ou "B"), o outro é smokeYes. Quando executo um modelo de regressão, posso escolher a linha de base ou o nível de referência …

8 regression  anova  multiple-regression  contrasts 

Dado um modelo: y=β0+β1⋅f+uy=β0+β1⋅f+u y = \beta_0 + \beta_1 \cdot f + u Onde é fictício se fêmea e caso contrário, y é a altura em cm. O tamanho da amostra é no total. Além disso e . Calcule as estimativas dos parâmetros.fff=1=1=1000nfemale=nmale=100→200nfemale=nmale=100→200n_{female}=n_{male}=100 \rightarrow 200y¯male=175y¯male=175\bar{y}_{male} = 175y¯female=165y¯female=165\bar{y}_{female}=165 Minha tentativa: Usando …

8 self-study  least-squares 

Esta pergunta é da introdução à estatística matemática de Robert Hogg, 6ª versão, pergunta 7.6.7. O problema é : Seja uma amostra aleatória do tamanho de uma distribuição com o pdfnnnf(x;θ)=(1/θ)exp(−x/θ)I(0,∞)(x)f(x;θ)=(1/θ)exp⁡(−x/θ)I(0,∞)(x)f(x;\theta)=(1/\theta)\exp(-x/\theta)\mathbb{I}_{(0,\infty)}(x) Encontre o MLE e o MVUE de .P(X≤2)P(X≤2)P(X \le 2) Eu sei como encontrar o MLE. Penso que a …

8 self-study  exponential-family  umvue  rao-blackwell 

Eu tenho o resumo de 5 números (min, Q1, mediana, Q3, max) de dois boxplots e queria testar se as médias dos grupos nos dois boxplots eram significativamente diferentes. Eu gostaria de fazer isso usando um teste t, mas não tenho os dados disponíveis para mim (apenas o resumo de …

8 t-test  boxplot 

Estou fazendo uma pesquisa usando regressão logística. 10 variáveis ​​influenciam a variável dependente. Um dos itens acima é categórico (por exemplo, entrega expressa, entrega padrão, etc.). Agora, quero classificar essas categorias com base na "força" de seus efeitos na variável dependente. Todos eles são significativos (pequeno valor p), mas acho …

8 regression  logistic  categorical-data  effect-size  ranking 

A arimaxfunção no TSApacote é, até onde sei, o único Rpacote que se encaixará em uma função de transferência para modelos de intervenção. Falta uma função de previsão, que às vezes é necessária. A seguir, uma solução alternativa para esse problema, aproveitando o excelente forecastpacote? Os intervalos preditivos estarão corretos? …

8 r  time-series  forecasting  arima  intervention-analysis 

Atualmente, estou trabalhando para modelar mortes por AIDS ao longo do tempo usando um GLM em R. Sei que existem duas opções possíveis para a função de link para dados de Poisson, log e raiz quadrada. Eu sei que a raiz quadrada resolveria problemas de variabilidade, enquanto o log é …

8 regression  generalized-linear-model  poisson-distribution  link-function 

É possível construir um modelo estatístico que preveja a próxima jogada em um gráfico apenas com base em movimentos passados ​​e na estrutura do gráfico? Fiz um exemplo para ilustrar o problema: O tempo é discreto . Em cada rodada, você permanece no seu nó / vértice atual ou passa …

8 predictive-models  spatial  hidden-markov-model  graph-theory 

Estou executando algumas otimizações com a implementação do BFGS do optim. A função objetivo é na verdade um algoritmo computacional, não apenas matemática. Descobri que quando adiciono uma penalidade de L1, as coisas diminuem um pouco. Por que isso pode ser? Existe algo no L1 que atrasa as coisas? Então, …

8 r  optimization  lasso