Estatísticas e Big Data

Para variáveis ​​aleatórias , e uma matriz semi-definida positiva A : Existe uma expressão simplificada para o valor esperado, E [ T r ( X T A X ) ] e variância, V a r [ T r ( X T A X ) ] ? Observe que A não …

13 variance  mathematical-statistics  expected-value  random-matrix 

Portanto, essa questão está um pouco envolvida, mas eu tentei meticulosamente torná-la a mais direta possível. Objetivo: Para encurtar a história, existe uma derivação da negentropia que não envolve cumulantes de ordem superior, e estou tentando entender como ela foi derivada. Antecedentes: (eu entendo tudo isso) Estou estudando o livro …

13 distributions  probability  pdf  entropy 

Eu tenho muitos dados e quero fazer algo que parece muito simples. Nesse grande conjunto de dados, estou interessado em saber quanto um elemento específico se agrupa. Digamos que meus dados sejam um conjunto ordenado como este: {A, C, B, D, A, Z, T, C ...}. Digamos que eu queira …

13 descriptive-statistics 

O "Aprendizado de Máquina para Hackers" de O'Reilly diz que cada componente principal representa uma porcentagem da variação. Citei a parte relevante da página abaixo (capítulo 8, p.207). Falando com outro especialista, eles concordaram que é a porcentagem. No entanto, os 24 componentes somam 133,2095%. Como pode ser? Tendo nos …

13 r  pca 

Eu tenho as porcentagens de classificação dos alunos em 38 exames como a variável dependente no meu estudo. Uma porcentagem de classificação é calculada por (classificação / número de alunos em um exame). Essa variável dependente tem distribuição quase uniforme e eu quero estimar os efeitos de algumas variáveis ​​na …

13 regression  distributions 

Entendo teoricamente (mais ou menos) como eles funcionariam, mas não tenho certeza de como usar um método de conjunto (como votação, misturas ponderadas etc.). Quais são os bons recursos para implementar métodos de ensemble? Existem recursos específicos em relação à implementação em Python? EDITAR: Para esclarecer alguns com base na …

13 machine-learning  python  ensemble 

Os gráficos abaixo são gráficos de dispersão residual de um teste de regressão para os quais as suposições "normalidade", "homoscedasticidade" e "independência" já foram atendidas com certeza! Para testar a suposição "linearidade" , embora, olhando os gráficos, possa-se adivinhar que o relacionamento é curvilíneo, mas a pergunta é: como o …

13 multiple-regression  linear-model  assumptions  r-squared 

Minha equipe e eu gostaríamos de fazer uma apresentação aos não estatísticos da empresa sobre a utilidade do design de experimentos. Esses não estatísticos também são nossos clientes e geralmente não nos consultam antes de coletar seus dados. Você conhece alguns exemplos reais que ilustrariam bem a famosa citação de …

13 experiment-design 

Essas duas funções existem no R, mas não conheço suas diferenças. Parece que eles retornam apenas os mesmos valores p ao chamar wilcox.testcom correct=FALSE, e wilcox_test(no pacote de moedas) com distribution="aymptotic". Para outros valores, eles retornam valores p diferentes. Também wilcox.testestá sempre retornando W = 0 para meu conjunto de …

13 r  hypothesis-testing  p-value  wilcoxon-mann-whitney 

Suponha que tenhamos um conjunto de pontos . Cada ponto é gerado usando a distribuição Para obter posterior para , escrevemos p (x | \ mathbf {y}) \ propto p (\ mathbf {y} | x) p (x) = p (x) \ prod_ {i = 1} ^ N p (y_i x) …

13 bayesian  mixture  posterior 

Estou tentando executar um logit bayesiano nos dados aqui . Estou usando bayesglm()no armpacote em R. A codificação é direta o suficiente: df = read.csv("http://dl.dropbox.com/u/1791181/bayesglm.csv", header=T) library(arm) model = bayesglm(PASS ~ SEX + HIGH, family=binomial(link="logit"), data=df) summary(model) fornece a seguinte saída: Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) 0.10381 …

13 r  bayesian  p-value 

Eu adoraria realizar um teste post-hoc de TukeyHSD após meu Anova de duas vias com R, obtendo uma tabela contendo os pares classificados agrupados por diferença significativa. (Desculpe pela redação, ainda sou novo em estatísticas.) Eu gostaria de ter algo parecido com isto: Então, agrupados com estrelas ou letras. Qualquer …

13 r  anova  multiple-comparisons  post-hoc  tukey-hsd 

Estou tentando modelar alguns dados usando o glmnetpacote em R. Digamos que tenho os seguintes dados training_x <- data.frame(variable1 = c(1, 2, 3, 2, 3), variable2 = c(1, 2, 3, 4, 5)) y <- c(1, 2, 3, 4, 5) (Isso é uma simplificação; meus dados são muito mais complicados.) Então …

13 r  glmnet 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 7 anos . Corrigir exames é provavelmente a tarefa mais chata de um professor. Mas pode ser divertido …

13 teaching  humor 

Se eu tiver um determinado conjunto de dados, quão inteligente seria inicializar os centros de cluster usando meios de amostras aleatórias desse conjunto de dados? Por exemplo, suponha que eu queira 5 clusters. Tomo 5 random samples, digamos, size=20%o conjunto de dados original. Eu poderia então tomar a média de …

13 clustering  k-means  unsupervised-learning