Estatísticas e Big Data

Como todos sabemos, existem 2 métodos para avaliar o modelo de regressão logística e eles estão testando coisas muito diferentes Poder preditivo: Obtenha uma estatística que mede o quão bem você pode prever a variável dependente com base nas variáveis ​​independentes. Os bem conhecidos Pseudo R ^ 2 são McFadden …

24 r  logistic  goodness-of-fit  regression-strategies  model-evaluation 

\newcommand{\P}{\mathbb{P}} Temos um processo aleatório que pode-ou-pode-não ocorrer várias vezes num período de tempo . Temos um feed de dados de um modelo preexistente desse processo, que fornece a probabilidade de vários eventos ocorrerem no período . Esse modelo existente é antigo e precisamos executar verificações ativas nos dados de …

24 negative-binomial  kalman-filter  poisson-process  state-space-models 

Sei que minha pergunta / título não é muito específico, tentarei esclarecê-la: As redes neurais artificiais têm projetos relativamente rígidos. É claro que, geralmente, eles são influenciados pela biologia e tentam construir um modelo matemático de redes neurais reais, mas nosso entendimento das redes neurais reais é insuficiente para a …

24 machine-learning  neural-networks  bioinformatics  artificial-intelligence  neuroscience 

O aprendizado de máquina (ML) usa fortemente técnicas de regressão linear e logística. Ele também se baseia em técnicas de engenharia recurso ( feature transform, kernel, etc.). Porque é que nada sobre variable transformation(por exemplo power transformation) mencionados no ML? (Por exemplo, eu nunca ouvi falar em criar raiz ou …

24 regression  machine-learning  data-transformation 

Dados nnn pontos de dados, cada um com ddd recursos, n / 2n/2n/2 são rotulados como 0 00 00 , o outro n / 2n/2n/2 é rotulado como 111 . Cada recurso recebe um valor de [ 0 , 1 ][0 0,1][0,1] aleatoriamente (distribuição uniforme). Qual é a probabilidade de …

24 probability  classification  mathematical-statistics  separation 

Portanto, essa pergunta é um pouco confusa, mas incluirei gráficos coloridos para compensar isso! Primeiro os antecedentes e depois as perguntas. fundo Digamos que você tenha uma distribuição multinomial dimensional com probailites iguais nas categorias. Seja as contagens normalizadas ( ) dessa distribuição, ou seja:nnnnnnπ=(π1,…,πn)π=(π1,…,πn)\pi = (\pi_1, \ldots, \pi_n)ccc (c1,…,cn)∼Multinomial(1/n,…,1/n)πi=cin(c1,…,cn)∼Multinomial(1/n,…,1/n)πi=cin(c_1, …

24 distributions  bayesian  bootstrap  multinomial  dirichlet-distribution 

Diferentes softwares de implementação estão disponíveis para o laço . Sei muito discutido sobre abordagem bayesiana versus abordagem freqüentista em diferentes fóruns. Minha pergunta é muito específica para o laço - Quais são as diferenças ou vantagens de laço baysiano vs laço regular ? Aqui estão dois exemplos de implementação …

24 r  machine-learning  linear-model  lasso 

Geralmente, a teoria das probabilidades é ensinada com os axiomas de Kolgomorov. Os bayesianos também aceitam os axiomas de Kolmogorov?

24 probability  bayesian  kolmogorov-axioms 

Atualmente, estou usando o AnomalyDetection do Twitter em R: https://github.com/twitter/AnomalyDetection . Esse algoritmo fornece detecção de anomalia de séries temporais para dados com sazonalidade. Pergunta: existem outros algoritmos semelhantes a este (controlar a sazonalidade não importa)? Estou tentando pontuar o maior número possível de algoritmos de séries temporais nos meus …

24 r  regression  time-series  anomaly-detection 

Eu tenho 50.000 imagens como estas duas: Eles representam gráficos de dados. Como eu queria extrair recursos dessas imagens, usei o código de codificador automático fornecido pela Theano (deeplearning.net). O problema é que esses auto-codificadores parecem não aprender nenhum recurso. Eu tentei RBM e é o mesmo. O conjunto de …

24 machine-learning  neural-networks  feature-construction  rbm  autoencoders 

Estou interessado no significado geométrico da correlação múltipla e no coeficiente de determinação na regressão ou em notação vetorial,R 2 y i = β 1 + β 2 x 2 , i + ⋯ + β k x k , i + ϵ iRRRR2R2R^2yi=β1+β2x2,i+⋯+βkxk,i+ϵiyi=β1+β2x2,i+⋯+βkxk,i+ϵiy_i = \beta_1 + \beta_2 x_{2,i} + …

24 regression  correlation  multiple-regression  r-squared  geometry 

Eu li algumas explicações do algoritmo EM (por exemplo, do reconhecimento de padrões e aprendizado de máquina de Bishop e do primeiro curso de Roger e Gerolami sobre aprendizado de máquina). A derivação do EM está bem, eu entendo. Também entendo por que o algoritmo cobre algo: em cada etapa, …

24 missing-data  convergence  expectation-maximization 

Sob uma definição clássica de um outlier como um ponto de dados fora do IQR de 1,5 * do quartil superior ou inferior, existe uma suposição de uma distribuição não distorcida. Para distribuições assimétricas (Exponencial, Poisson, Geométrica, etc.), é a melhor maneira de detectar um outlier analisando uma transformação da …

24 distributions  outliers  skewness  exponential  interquartile 

É possível realizar uma regressão se todas as variáveis ​​dependentes e independentes forem variáveis ​​categóricas?

24 regression  logistic  categorical-data 

Tenho um problema ao adotar os benefícios de rotular um fator de modelo como aleatório por alguns motivos. Para mim, parece que em quase todos os casos a solução ideal é tratar todos os fatores como fixos. Primeiro, a distinção entre fixo e aleatório é bastante arbitrária. A explicação padrão …

24 model-selection  random-effects-model  aic  fixed-effects-model  mixed-model