Estatísticas e Big Data

Eu tenho um doutorado em biologia molecular. Meus estudos começaram recentemente a envolver análise de dados de alta dimensão. Tive a ideia de como o t-SNE funciona (graças a um vídeo do StatQuest no YouTube ), mas não consigo entender o UMAP (ouvi a palestra do criador do UMAP on-line, …

18 dimensionality-reduction  intuition  tsne 

Eu escrevi um programa que gera dados aleatórios. Se o programa estiver funcionando corretamente, esses dados deverão seguir uma distribuição de probabilidade conhecida e específica. Eu gostaria de executar o programa, fazer alguns cálculos sobre o resultado e obter um valor-p. Antes que alguém o diga: entendo que o teste …

17 distributions  hypothesis-testing  random-generation 

Eu tenho uma variável numérica que resulta não significativa em um modelo de regressão logística multivariada. No entanto, quando eu o categorizo ​​em grupos, de repente se torna significativo. Isso é muito contra-intuitivo para mim: ao categorizar uma variável, fornecemos algumas informações. Como isso pode ser?

17 regression  logistic  statistical-significance  multivariate-analysis 

Eu li inúmeras publicações neste site que são incrivelmente contra o uso de seleção gradual de variáveis ​​usando qualquer tipo de critério, seja com base em valores-p, AIC, BIC, etc. Entendo por que esses procedimentos são, em geral, muito ruins para a seleção de variáveis. o post provavelmente famoso de …

17 forecasting  predictive-models  arima  aic  stepwise-regression 

Contexto: No exemplo de 8 escolas de Gelman (Bayesian Data Analysis, 3ª edição, cap. 5.5), existem oito experimentos paralelos em 8 escolas testando o efeito do coaching. Cada experimento produz uma estimativa da eficácia do treinamento e do erro padrão associado. Os autores então constroem um modelo hierárquico para os …

17 bayesian  hierarchical-bayesian 

Por que a letra Q foi escolhida em nome do Q-learning? A maioria das letras é escolhida como uma abreviação, como ππ\pi política e vvv significa valor. Mas não acho que Q seja uma abreviação de nenhuma palavra.

17 terminology  reinforcement-learning  history  q-learning 

Estou seguindo AW van der Vaart, estatística assintótica (1998). Ele fala de experimentos estatísticos, alegando que eles são diferentes de um modelo estatístico, mas ele também não os define. Minha pergunta: O que é (1) um experimento estatístico, (2) um modelo estatístico e (3) qual é o ingrediente chave que …

17 mathematical-statistics  inference  experiment-design  descriptive-statistics  model 

Treinei um modelo de regressão linear, usando um conjunto de variáveis ​​/ recursos. E o modelo tem um bom desempenho. No entanto, percebi que não há variável com uma boa correlação com a variável prevista. Como isso é possível?

17 regression  machine-learning  correlation  multiple-regression  linear-model 

Eu vi essa lista aqui e não podia acreditar que havia tantas maneiras de resolver mínimos quadrados. As "equações normais" na Wikipedia pareciam ser um caminho bastante direto: α^β^=y¯−β^x¯,=∑ni=1(xi−x¯)(yi−y¯)∑ni=1(xi−x¯)2α^=y¯−β^x¯,β^=∑i=1n(xi−x¯)(yi−y¯)∑i=1n(xi−x¯)2 {\displaystyle {\begin{aligned}{\hat {\alpha }}&={\bar {y}}-{\hat {\beta }}\,{\bar {x}},\\{\hat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\end{aligned}}} Então, por que não usá-los? …

17 regression  least-squares  scikit-learn 

Acabei de fazer um exame em que fomos apresentados a duas variáveis. Em um jogo de ditadores em que um ditador recebe 100 dólares e pode escolher quanto enviar ou guardar para si mesmo, houve uma correlação positiva entre a idade e quanto dinheiro os participantes decidiram manter. Meu pensamento …

17 correlation  causality 

Estima-se que os estimadores de regressão penalizados, como LASSO e cume, correspondam aos estimadores bayesianos com certos antecedentes. Eu acho (como eu não sei o suficiente sobre estatísticas bayesianas) que, para um parâmetro de ajuste fixo, existe um prévio concreto correspondente. Agora, um frequentista otimizaria o parâmetro de ajuste por …

17 bayesian  lasso  ridge-regression 

Dado são os 6 limites de decisão abaixo. Os limites da decisão são linhas violetas. Pontos e cruzamentos são dois conjuntos de dados diferentes. Temos que decidir qual deles é: SVM linear SVM kernelizado (kernel polinomial da ordem 2) Perceptron Regressão logística Rede Neural (1 camada oculta com 10 unidades …

17 machine-learning  self-study  classification  neural-networks  svm 

Eu estive em um debate com meu professor de estatística em nível de pós-graduação sobre "distribuições normais". Afirmo que, para obter uma distribuição normal de verdade, é preciso ter média = mediana = modo, todos os dados devem estar contidos sob a curva de sino e perfeitamente simétricos em torno …

17 mathematical-statistics  descriptive-statistics 

Fiz essa pergunta outro dia e nunca a havia considerado antes. Minha intuição vem das vantagens de cada estimador. A probabilidade máxima é de preferência quando estamos confiantes no processo de geração de dados porque, diferentemente do método dos momentos, ele utiliza o conhecimento de toda a distribuição. Como os …

17 mathematical-statistics  maximum-likelihood  estimators  method-of-moments 

É sabido que a regressão linear com uma penalidade de é equivalente a encontrar a estimativa de MAP dada uma Gaussiana antes dos coeficientes. Da mesma forma, usar uma penalidade de é equivalente a usar uma distribuição de Laplace como a anterior.eu2eu2l^2eu1eu1l^1 Não é incomum usar alguma combinação ponderada de …

17 regression  bayesian  regularization  prior  elastic-net