Estatísticas e Big Data

Gostaria de saber se há algum tipo de distribuição padrão em subconjuntos de números inteiros . De maneira equivalente, poderíamos expressar isso como uma distribuição em um vetor de comprimento de resultados binários, por exemplo, se então corresponde ao vetor (1, 0, 1, 0, 1) .{1,2,...,J}{1,2,...,J}\{1, 2, ..., J\}JJJJ=5J=5J = …

9 bayesian  discrete-data 

Eu tenho um conjunto de dados em que testo diferenças significativas entre três populações com relação a cerca de 50 variáveis ​​diferentes. Faço isso usando os testes de Kruskal-Wallis, por um lado, e por testes de razão de verossimilhança do modelo GLM aninhado (por e sem população como uma variável …

9 chi-squared  multiple-comparisons  likelihood-ratio  kruskal-wallis  false-discovery-rate 

Eu tenho o seguinte conjunto de dados: https://dl.dropbox.com/u/22681355/ORACLE.csv e gostaria de plotar as alterações diárias em 'Abrir' por 'Data', então fiz o seguinte: oracle <- read.csv(file="http://dl.dropbox.com/u/22681355/ORACLE.csv", header=TRUE) plot(oracle$Date, oracle$Open, type="l") e recebo o seguinte: Agora, obviamente, este não é o melhor enredo de todos os tempos, então estou me perguntando …

9 r  data-visualization 

Vindo de uma formação rigorosa na análise e na teoria moderna das probabilidades, considero as estatísticas bayesianas diretas e fáceis de entender, e as estatísticas freqüentistas incrivelmente confusas e pouco intuitivas. Parece que os freqüentadores estão realmente fazendo estatísticas bayesianas, exceto com "antecedentes secretos" que não são bem motivados ou …

9 references  frequentist  intuition 

Sou totalmente novo nas estatísticas e no campo dos intervalos de confiança. Portanto, isso pode ser muito trivial ou até parecer estúpido. Eu apreciaria se você pudesse me ajudar a entender ou me indicar alguma literatura / texto / blog que explique isso melhor. Vejo em vários sites de notícias …

9 confidence-interval  sample-size 

Eu não sei muito sobre estatísticas, então tenha paciência comigo. Digamos que eu tenho um conjunto de 1000 trabalhadores. Quero descobrir quem é o trabalhador mais esforçado, mas só posso medir a quantidade de trabalho realizado em grupos de 1 a 100 em mais de uma hora de trabalho. Supondo …

9 r  regression  data-mining 

Ao usar libsvm, o parâmetro é um parâmetro para a função do kernel. Seu valor padrão é configurado como γ = 1γγ\gammaγ=1number of features.γ=1number of features.\gamma = \frac{1}{\text{number of features.}} Existe alguma orientação teórica para configurar esse parâmetro além dos métodos existentes, por exemplo, pesquisa em grade?

9 machine-learning  svm  data-mining  libsvm  kernel-trick 

Eu quero selecionar modelos usando regsubsets(). Eu tenho um quadro de dados chamado olympiadaten (upload de dados: http://www.sendspace.com/file/8e27d0 ). Primeiro anexo esse quadro de dados e, em seguida, começo a analisar, meu código é: attach(olympiadaten) library(leaps) a<-regsubsets(Gesamt ~ CommunistSocialist + CountrySize + GNI + Lifeexp + Schoolyears + ExpMilitary + …

9 r  multiple-regression  model-selection 

Ok, estou tentando entender a regressão linear. Eu tenho um conjunto de dados e parece tudo bem, mas estou confuso. Este é o meu resumo-modelo linear: Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 0.2068621 0.0247002 8.375 4.13e-09 *** temp 0.0031074 0.0004779 6.502 4.79e-07 *** --- Signif. codes: 0 ‘***’ …

9 r  regression 

Quero comparar com as taxas de incidência entre dois grupos (um sem doença e outro com). Eu estava planejando calcular a taxa de incidência (TIR), ou seja, grupo de taxa de incidência B / grupo de taxa de incidência A e, em seguida, testar se essa taxa é igual a …

9 r  poisson-distribution  epidemiology  incidence-rate-ratio 

Com dados contínuos, uma regressão linear Y=β1+β2X2+uY=β1 1+β2X2+vocêY=\beta_1+\beta_2X_2+u assume que o termo de erro está distribuído N (0, σ2σ2\sigma^2 ) 1) Assumimos que Var (Y | x) é igualmente ~ N (0, σ2σ2\sigma^2 )? 2) Qual é essa distribuição de erro na regressão logística? Quando os dados estão no formato …

9 logistic  generalized-linear-model 

A atribuição aleatória é valiosa porque garante a independência do tratamento dos possíveis resultados. É assim que leva a estimativas imparciais do efeito médio do tratamento. Mas outros esquemas de atribuição também podem garantir sistematicamente a independência do tratamento dos possíveis resultados. Então, por que precisamos de atribuição aleatória? Em …

9 econometrics  experiment-design  causality  instrumental-variables  random-allocation 

Eu tenho uma tabela tridimensional de tamanho . Cada célula da tabela é um teste de hipótese. Dividir a tabela na terceira dimensão produz 81 conjuntos de testes de hipóteses que são independentes entre os conjuntos, mas dependem dos mesmos. Originalmente, eu pensava que poderia controlar a taxa de falsas …

9 multiple-comparisons  false-discovery-rate 

Estou usando o PROC GLM no SAS para ajustar uma equação de regressão da seguinte forma Y= b0 0+ b1 1X1 1+ b2X2+ b3X3+ b4tY=b0 0+b1 1X1 1+b2X2+b3X3+b4t Y = b_0 + b_1X_1 + b_2X_2 + b_3X_3 + b_4t O gráfico QQ dos vermelhos resultantes indica desvio da normalidade. Qualquer …

9 regression  multiple-regression  nonparametric  residuals  sas 

Qual é a relação entre o primeiro componente principal e a correlação média na matriz de correlação? Por exemplo, em uma aplicação empírica, observo que a correlação média é quase a mesma que a razão entre a variação do primeiro componente principal (primeiro valor próprio) e a variação total (soma …

9 correlation  pca  mathematical-statistics  eigenvalues