Estatísticas e Big Data

Estou pensando em construir um modelo de previsão de uma relação , onde e e . Portanto, a proporção estaria entre e .a ≤ b a > 0 b > 0 0 1a/ba/ba/ba≤ba≤ba \le ba>0a>0a > 0b>0b>0b > 0000111 Eu poderia usar regressão linear, embora isso não se limite naturalmente …

42 regression  logistic  generalized-linear-model  beta-distribution  beta-regression 

Me deparei com a perplexidade do termo, que se refere à probabilidade inversa com média de log em dados invisíveis. O artigo da Wikipedia sobre perplexidade não fornece um significado intuitivo para o mesmo. Essa medida de perplexidade foi usada em papel pLSA . Alguém pode explicar a necessidade e …

42 measurement  perplexity 

Descobri que o Imagenet e outras CNNs grandes usam camadas de normalização de resposta local. No entanto, não consigo encontrar tanta informação sobre eles. Quão importantes são e quando devem ser usados? Em http://caffe.berkeleyvision.org/tutorial/layers.html#data-layers : "A camada de normalização de resposta local executa um tipo de" inibição lateral "normalizando sobre …

41 deep-learning  convolution  conv-neural-network 

Veja este trecho de "O manual de habilidades de estudo", Palgrave, 2012, de Stella Cottrell, página 155: Porcentagens Observe quando as porcentagens são fornecidas. Suponha, em vez disso, a declaração acima: 60% das pessoas preferiam laranjas; 40% disseram preferir maçãs. Isso parece convincente: quantidades numéricas são fornecidas. Mas a diferença …

41 statistical-significance  sample-size  percentage 

Sei que essa pergunta foi feita um bilhão de vezes, portanto, depois de procurar on-line, estou totalmente convencido de que a correlação entre duas variáveis ​​não implica causalidade. Em uma das minhas palestras sobre estatísticas hoje, tivemos uma palestra de um físico sobre a importância dos métodos estatísticos na física. …

41 correlation  mathematical-statistics  causality 

Recentemente, tive um desacordo com um amigo sobre minimizar a chance de morrer em um avião devido a um acidente. Esta é uma questão estatística rudimentar. Ele afirmou que prefere voar direto para um destino, pois diminui a probabilidade de ele morrer em um acidente de avião. Sua lógica era …

41 independence  transportation 

Momentum é usado para diminuir as flutuações nas alterações de peso em iterações consecutivas:αα\alpha E(w)wηΔ ωEu( t + 1 ) = - η∂E∂WEu+ α Δ ωEu( T ) ,ΔωEu(t+1)=-η∂E∂WEu+αΔωEu(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t), que é a função de erro, - o vetor de pesos, - …

41 neural-networks  optimization  regularization  gradient-descent 

EDIÇÃO 2: Originalmente, pensei que precisava executar uma ANOVA de dois fatores com medidas repetidas em um fator, mas agora acho que um modelo linear de efeito misto funcionará melhor para meus dados. Acho que quase sei o que precisa acontecer, mas ainda estou confuso com alguns pontos. Os experimentos …

41 r  anova  mixed-model  repeated-measures  lme4-nlme 

(Isso se baseia em uma pergunta que acabei de chegar por e-mail; adicionamos algum contexto de uma breve conversa anterior com a mesma pessoa.) No ano passado, disseram-me que a distribuição gama é mais pesada que a lognormal, e desde então me disseram que não é o caso. Qual é …

41 distributions  gamma-distribution  lognormal  heavy-tailed 

Os Pandas, Statsmodels e Scikit aprendem implementações diferentes de operações estatísticas / de aprendizado de máquina, ou são complementares entre si? Qual destes possui a funcionalidade mais abrangente? Qual deles é desenvolvido e / ou suportado ativamente? Eu tenho que implementar regressão logística. Alguma sugestão sobre qual delas devo usar?

41 machine-learning  python  scikit-learn  statsmodels  pandas 

Existem jogos que fazem o jogador "pensar como um estatístico"? Por exemplo, o lightbot faz com que você "pense como um programador" (de uma maneira muito básica). Existem jogos - projetados para entretenimento ou ensino - que podem ajudar a se familiarizar com conceitos básicos como correlação, valores de p, …

41 teaching  games  application 

Acabei de jogar um jogo com meus filhos que basicamente se resume a: quem joga todos os números pelo menos uma vez em um dado de 6 lados ganha. Ganhei, eventualmente, e os outros terminaram 1-2 turnos depois. Agora estou me perguntando: qual é a expectativa da duração do jogo? …

41 probability  dice  coupon-collector-problem 

Estou prestes a experimentar um ambiente de estilo BUGS para estimar modelos bayesianos. Existem vantagens importantes a serem consideradas na escolha entre OpenBugs ou JAGS? É provável que um substitua o outro em um futuro próximo? Usarei o Gibbs Sampler escolhido com R. Ainda não tenho uma aplicação específica, mas …

41 r  software  bugs  jags  gibbs 

Ao transformar variáveis, você precisa usar a mesma transformação? Por exemplo, posso escolher variáveis ​​transformadas de maneira diferente, como em: Seja idade, duração do emprego, duração da residência e renda.x1, x2, x3x1,x2,x3x_1,x_2,x_3 Y = B1*sqrt(x1) + B2*-1/(x2) + B3*log(x3) Ou você deve ser consistente com suas transformações e usar o …

41 r  regression  logistic  data-transformation 

Vejo o conceito de 'permutabilidade' sendo usado em diferentes contextos (por exemplo, modelos bayesianos), mas nunca entendi o termo muito bem. O que esse conceito significa? Em que circunstâncias esse conceito é invocado e por quê?

41 bayesian  intuition  exchangeability