Estatísticas e Big Data

Os graus de liberdade na minha tabela F não aumentam o suficiente para a minha grande amostra. Por exemplo, se eu tenho um F com 5 e 6744 graus de liberdade, como encontro o valor crítico de 5% para uma ANOVA? E se eu estivesse fazendo um teste do qui-quadrado …

11 chi-squared  degrees-of-freedom  f-distribution  tables 

A Netflix costumava basear suas sugestões nas classificações enviadas por um usuário de outros filmes / programas. Este sistema de classificação teve cinco estrelas. Agora, o Netflix permite que os usuários gostem / não gostem (polegares para cima / polegares para baixo) de filmes / programas. Eles afirmam que é …

11 variance  predictive-models  prediction 

Existe alguma distribuição contínua expressável em forma fechada, cuja média é tal que a média geométrica das amostras é um estimador imparcial para essa média? Atualização: Acabei de perceber que minhas amostras precisam ser positivas (caso contrário, a média geométrica pode não existir), então talvez contínua não seja a palavra …

11 distributions  geometric-mean 

Fiz um teste de Kruskal Wallis e, para algumas perguntas, o valor de p não é significativo. Eu reportaria isso da mesma maneira como se fosse significativo, declarando df, estatística de teste e valor de p? Portanto, seria algo parecido com o teste de Kruskal Wallis, mas os resultados não …

11 spss  kruskal-wallis  reporting 

Estou executando um modelo de regressão com Lasso e Ridge (para prever uma variável de resultado discreto variando de 0 a 5). Antes de executar o modelo, uso o SelectKBestmétodo de scikit-learnpara reduzir o conjunto de recursos de 250 para 25 . Sem uma seleção inicial de recursos, Lasso e …

11 regression  predictive-models  feature-selection  lasso  ridge-regression 

Depois de assistir a vídeos no youtube, sinto que não consigo realmente definir o que é inferência variacional. Eu posso seguir os procedimentos enquanto assisto às palestras em vídeo sobre o assunto. Mas é difícil definir o que realmente é. Espero ouvir sobre isso.

11 machine-learning  mathematical-statistics  data-mining 

Suponha que estamos analisando esse gráfico de caixa e bigode: Entre quinta e sexta-feira, acho que a maioria concorda que parece haver uma diferença significativa no tempo dormido. Mas isso é uma conjectura estatisticamente válida? Podemos discernir diferenças significativas devido ao fato de nenhuma das faixas do quartil interno se …

11 anova  data-visualization  boxplot 

Eu tenho lido o capítulo 13 de Hamilton e ele tem a seguinte representação de espaço de estado para um ARMA (p, q). Seja Depois, o processo ARMA (p, q) é o seguinte: \ begin {alinhado} y_t - \ mu & = \ phi_1 (y_ {t-1} - \ mu) + …

11 time-series  arima  kalman-filter  state-space-models 

Ao realizar a regressão polinomial de YYY para XXX , as pessoas às vezes usam polinômios brutos, às vezes polinômios ortogonais. Mas quando eles usam o que parece completamente arbitrário. Aqui e aqui polinômios brutos são usados. Mas aqui e aqui , polinômios ortogonais parecem dar os resultados corretos. O …

11 regression  polynomial 

Estou interessado em resultados teóricos para a capacidade de generalização de máquinas de vetores de suporte, por exemplo, limites na probabilidade de erro de classificação e na dimensão Vapnik-Chervonenkis (VC) dessas máquinas. No entanto, lendo a literatura, tive a impressão de que alguns resultados recorrentes semelhantes tendem a diferir levemente …

11 machine-learning  svm  vc-dimension 

Suponha que eu tenho dois estimadores e que são estimadores consistentes do mesmo parâmetro e que com no sentido psd. Portanto, assintoticamente é mais eficiente que . Esses dois estimadores são baseados em diferentes funções de perda. β 2β0√βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0 0β0\beta_0V1≤V2 β 1 β 2n--√( βˆ1- β0 0) →dN( 0 , …

11 regression  ridge-regression  shrinkage  penalized 

Estou procurando alguns artigos ou livros com exemplos práticos e teóricos sobre o MCMC básico para estatística bayesiana (com R). Eu nunca estudei sobre simulação, e é por isso que estou procurando informações "básicas". Você pode me dar algumas recomendações ou conselhos?

11 bayesian  references  mcmc 

Existe uma metodologia existente para aplicar um modelo de aprendizado supervisionado a um conjunto de dados incerto? Por exemplo, digamos que temos um conjunto de dados com as classes A e B: +----------+----------+-------+-----------+ | FeatureA | FeatureB | Label | Certainty | +----------+----------+-------+-----------+ | 2 | 3 | A | …

11 machine-learning  supervised-learning 

Deixe- fff , ggg e hhh ser densidades e suponha que você tem xi∼hxi∼hx_i \sim h , i∈Ni∈Ni \in \mathbb{N} . O que acontece com a razão de verossimilhança ∏i=1nf(xi)g(xi)∏i=1nf(xi)g(xi) \prod_{i=1}^n \frac{f(x_i)}{g(x_i)} comon→∞n→∞n \rightarrow \infty? (Ele converge? Para quê?) Por exemplo, podemos assumir h=gh=gh = g . O caso geral …

11 convergence  asymptotics  likelihood-ratio 

Suponha um planeta com um ano muito longo de dias. Há 1 milhão de alienígenas em uma festa em uma sala e ninguém compartilha um aniversário. O que pode ser inferido sobre o tamanho de ?NNNNNNN (Essa pergunta mais compacta substitui a pergunta mal formulada. )

11 probability  birthday-paradox