Estatísticas e Big Data

Quando precisamos definir distribuições de contagens discretas, geralmente usamos: Distribuição de Poisson, se média = variância Distribuição binomial, se média> variância Distribuição binomial negativa, se média <variância Minha pergunta é: é possível usar a distribuição normal para aproximar? Por exemplo, para ter uma distribuição de Poisson (com média = 4), …

7 normal-distribution  binomial  poisson-distribution  negative-binomial  count-data 

Estou trabalhando em um problema no qual tenho vários pares de homens atualmente vivos, icada um com um suposto ancestral paterno nigerações atrás (com base em evidências genealógicas) e onde tenho informações sobre se há uma incompatibilidade no genótipo cromossômico Y (exclusivamente paternalmente herdadoxi= 1 para incompatibilidade, 0 se houver …

7 r  confidence-interval  maximum-likelihood  bootstrap  delta-method 

estou participando de um desafio no qual criei um modelo que executa 70% de AUC no conjunto de trens e 70% de AUC no conjunto de testes de espera. O outro participante criou um modelo que executa 96% de AUC no conjunto de trens e 76% de AUC no conjunto …

7 validation  overfitting  model-comparison  auc  train 

Para explorar como a LASSOregressão funciona, escrevi um pequeno pedaço de código que deve otimizar a LASSOregressão escolhendo o melhor parâmetro alfa. Não consigo descobrir por que a LASSOregressão está me dando resultados tão instáveis ​​para o parâmetro alfa após a validação cruzada. Aqui está o meu código Python: from …

7 r  regression  python  lasso  penalized 

O que eu quero fazer é construir GLMMs para avaliar a seleção de recursos, e eu tenho um conjunto de variáveis ​​(algumas representando distâncias e outras representando% da cobertura do solo). Posso testar a correlação entre variáveis ​​antes de padronizá-las? Não tenho muita certeza do que devo fazer primeiro.

7 correlation  glmm  standardization  ecology 

Em muitas configurações, estamos interessados ​​em estimar um modelo com uma variável dependente fracionária. Por exemplo, Papke e Wooldridge (1996) http://faculty.smu.edu/millimet/classes/eco6375/papers/papke%20wooldridge%201996.pdf consideram as taxas de participação do plano 401 (k), onde a taxa é definida como . Os autores então desenvolvem um método GLM para estimar esses modelos. Olhando para …

7 count-data 

As taxas (por exemplo, = / ) são frequentemente usadas (por exemplo, alterações na expressão do RNAm ou da proteína, índice de massa corporal [IMC], etc.). Muitas pessoas aconselham que variáveis ​​codificadas como proporções (por exemplo, mudança de dobra) devem ser transformadas em log, porque estão fortemente inclinadas para a …

7 data-transformation  logarithm  ratio 

Eu estava lendo o documento de normalização em lote (BN) (1) e dizia: Para isso, uma vez treinada a rede, usamos a normalização x^=x−E[x]Var[x]+ϵ−−−−−−−−√x^=x−E[x]Var[x]+ϵ\hat{x} = \frac{x - E[x]}{ \sqrt{Var[x] + \epsilon}}usando a população , em vez de estatísticas de minilote. minha pergunta é: como ele calcula as estatísticas dessa população …

7 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization 

Alguém sabe se existe uma generalização da rede convolucional que funciona com tensores de entrada 4D em vez de 3D. Geralmente, pelo que entendi, os filtros de rede convolucionais aceitam uma certa extensão de coordenadas x, y por filtro e toda a profundidade dessa extensão também. Eu tenho uma dimensão …

7 neural-networks  conv-neural-network 

Em deste escritas rosca @ttnphns que Por serem coeficientes de regressão, [...] insisto que é melhor dizer "fator de carga variável" do que "fator de carga variável". Aprendi aqui que um modelo de análise fatorial é o sistema de equações V1=a1IFI+a1IIFII+E1V1=a1IFI+a1IIFII+E1V_1 = a_{1I}F_I + a_{1II}F_{II} + E_1 V2=a2IFI+a2IIFII+E2V2=a2IFI+a2IIFII+E2V_2 = a_{2I}F_I …

7 factor-analysis  terminology  teaching 

Ao fazer um CFA Lavaan, eu tive que usar a matriz de covariância como entrada, porque estava recebendo alguns erros com os dados originais, como variações negativas. Eu normalmente teria pontuações fatoriais previstas usando a predict()função, lavPredictfunciona da mesma forma, mas agora que estou usando a matriz de covariância não …

7 sem  confirmatory-factor  lavaan 

Eu gostaria de comparar algoritmos de detecção outlier. Não tenho certeza se a área sob roc ou sob a curva de recuperação de precisão é a medida a ser usada. Um teste rápido no Matlab me dá resultados estranhos. Eu tento obter os valores ROC e PR para uma classificação …

7 machine-learning  experiment-design  roc  precision-recall  auc 

Se temos regressores estocásticos, estamos desenhando pares aleatórios para um monte de , a chamada amostra aleatória, de uma distribuição probabilística fixa, mas desconhecida . Teoricamente falando, a amostra aleatória nos permite aprender ou estimar alguns parâmetros da distribuição .(yEu,x⃗ Eu)(yEu,x→Eu)(y_i,\vec{x}_i)EuEui( y,x⃗ )(y,x→)(y,\vec{x})( y,x⃗ )(y,x→)(y,\vec{x}) Se fixamos regressores, teoricamente falando, …

7 regression  distributions  conditional-probability  stochastic-processes  likelihood 

Ao usar o comando drop1 em R para construção de modelo, é dito que a variável com o menor valor de AIC deve ser descartada. Qual poderia ser a razão para o mesmo? Eu sei que a AIC fala sobre perda de informações e um valor mais baixo da AIC …

7 r  regression  aic 

Quero saber quais são as áreas específicas nas quais os métodos de Fourier são usados ​​no aprendizado de máquina. Além da extração de recursos e da análise espectral, quero saber se existem algoritmos de aprendizado baseados nos métodos de Fourier. Também quero saber se há alguma motivação para usar os …

7 machine-learning  probability  fourier-transform