Estatísticas e Big Data

Eu tenho a seguinte função de probabilidade: Prob= 11 + e- zProb=11+e-z\text{Prob} = \frac{1}{1 + e^{-z}} Onde z= B0 0+ B1X1+ ⋯ + BnXn.z=B0 0+B1X1+⋯+BnXn.z = B_0 + B_1X_1 + \dots + B_nX_n. Meu modelo parece Pr ( Y= 1 ) = 11 + exp( - [ - 3,92 + …

18 probability  logistic  logit 

Uma distribuição Skellam descreve a diferença entre duas variáveis ​​que possuem distribuições de Poisson. Existe uma distribuição semelhante que descreva a diferença entre variáveis ​​que seguem distribuições binomiais negativas? Meus dados são produzidos por um processo de Poisson, mas incluem uma quantidade razoável de ruído, levando a uma dispersão excessiva …

18 distributions  modeling  poisson-distribution  negative-binomial  skellam 

Considere uma caminhada aleatória inteira iniciando em 0 com as seguintes condições: O primeiro passo é mais ou menos 1, com igual probabilidade. Cada passo futuro é: 60% de probabilidade de estar na mesma direção que o passo anterior, 40% de probabilidade de estar na direção oposta Que tipo de …

18 stochastic-processes  randomness  random-walk 

No , qual é a base para usar a raiz quadrada das contagens esperadas como os desvios padrão (isto é, as contagens esperadas como as variações) de cada uma das distribuições normais? A única coisa que pude encontrar discutindo isso é o http://www.physics.csbsju.edu/stats/chi-square.html , e apenas menciona as distribuições de …

18 hypothesis-testing  chi-squared 

Espero que alguém possa ajudar a esclarecer um ponto de confusão para mim. Digamos que eu queira testar se 2 conjuntos de coeficientes de regressão são significativamente diferentes um do outro, com a seguinte configuração: , com 5 variáveis ​​independentes.yi=α+βxi+ϵiyi=α+βxi+ϵiy_i = \alpha + \beta x_i + \epsilon_i 2 grupos, com …

18 regression  hypothesis-testing  multiple-regression 

Eu tenho uma pergunta sobre o cálculo do fator de encolhimento de James-Stein no artigo de 1977 da Scientific American por Bradley Efron e Carl Morris, "Paradoxo de Estatísticas de Stein" . Reuni os dados para os jogadores de beisebol e eles são fornecidos abaixo: Name, avg45, avgSeason Clemente, 0.400, …

18 estimation  shrinkage  steins-phenomenon 

Esse tipo de gráfico tem um nome? Mais importante, existe alguma biblioteca de visualização que eu possa usar para produzi-la? http://www.nytimes.com/interactive/2007/12/15/us/politics/DEBATE.html

18 data-visualization 

Atualmente, estou usando o treinamento Viterbi para um problema de segmentação de imagem. Eu queria saber quais são as vantagens / desvantagens de usar o algoritmo Baum-Welch em vez do treinamento em Viterbi.

18 machine-learning  hidden-markov-model  image-processing  viterbi-algorithm  baum-welch 

Eu gostaria de criar um algoritmo capaz de analisar qualquer série temporal e "escolher automaticamente" o melhor método de previsão tradicional / statiscal (e seus parâmetros) para os dados analisados. Seria possível fazer algo assim? Se sim, você pode me dar algumas dicas sobre como isso pode ser abordado?

18 time-series  forecasting  python 

Este é o meu quadro de dados: Group <- c("G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3") Subject <- c("S1","S2","S3","S4","S5","S6","S7","S8","S9","S10","S11","S12","S13","S14","S15","S1","S2","S3","S4","S5","S6","S7","S8","S9","S10","S11","S12","S13","S14","S15","S1","S2","S3","S4","S5","S6","S7","S8","S9","S10","S11","S12","S13","S14","S15") Value <- c(9.832217741,13.62390117,13.19671612,14.68552076,9.26683366,11.67886655,14.65083473,12.20969772,11.58494621,13.58474896,12.49053635,10.28208078,12.21945867,12.58276212,15.42648969,9.466436017,11.46582655,10.78725485,10.66159358,10.86701127,12.97863424,12.85276916,8.672953949,10.44587257,13.62135205,13.64038394,12.45778874,8.655142642,10.65925259,13.18336949,11.96595556,13.5552118,11.8337142,14.01763101,11.37502161,14.14801305,13.21640866,9.141392359,11.65848845,14.20350364,14.1829714,11.26202565,11.98431285,13.77216009,11.57303893) data <- data.frame(Group, Subject, Value) Em seguida, corro um modelo de efeitos lineares mistos para comparar a diferença dos 3 grupos em "Valor", em que "Assunto" é o fator aleatório: library(lme4) library(lmerTest) model <- …

18 r  lme4-nlme  post-hoc 

Qual é a complexidade de tempo do algoritmo k -NN com abordagem de pesquisa ingênua (sem árvore kd ou similar)? Estou interessado em sua complexidade de tempo, considerando também o hiperparâmetro k . Eu encontrei respostas contraditórias: O (nd + kn), onde n é a cardinalidade do conjunto de treinamento …

18 k-nearest-neighbour  time-complexity 

Acho que essa é uma pergunta básica e tem a ver com a direção do próprio gradiente, mas estou procurando exemplos em que os métodos de 2ª ordem (por exemplo, BFGS ) são mais eficazes do que a simples descida do gradiente.

18 optimization 

Suponha que uma moeda justa seja lançada repetidamente até que uma cabeça seja obtida pela primeira vez. Qual é o número esperado de lançamentos que serão necessários? Qual é o número esperado de caudas que serão obtidas antes da primeira cabeça ser obtida?

18 probability  self-study  expected-value  bernoulli-distribution  geometric-distribution 

Trabalhando no problema de regressão, comecei a pensar na representação do recurso "dia da semana". Gostaria de saber qual abordagem teria melhor desempenho: uma característica; valor 1/7 para segunda-feira; 2/7 para terça-feira ... 7 recursos: (1, 0, 0, 0, 0, 0, 0) para segunda-feira; (0, 1, 0, 0, 0, 0, …

18 machine-learning  neural-networks  feature-construction 

Vamos considerar as duas distribuições de probabilidade a seguir P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 divergência de Kullback-Leibler igual a . Quero saber em geral o que esse número me mostra? Geralmente, a divergência Kullback-Leibler me …

18 interpretation  information-theory  kullback-leibler