Estatísticas e Big Data

Duas variáveis ​​aleatórias A e B são estatisticamente independentes. Isso significa que no DAG do processo: e, é claro, . Mas isso também significa que não há porta da frente de B para A?(A⊥⊥B)(A⊥⊥B)(A {\perp\!\!\!\perp} B)P(A|B)=P(A)P(A|B)=P(A)P(A|B)=P(A) Porque então devemos obter . Então, se for esse o caso, independência estatística significa …

40 independence  causality  bayesian-network  dag 

Por que a função sigmóide padrão de fato, , é tão popular em redes neurais (não profundas) e em regressão logística?1 11 + e- x1 11 1+e-x\frac{1}{1+e^{-x}} Por que não usamos muitas das outras funções deriváveis, com tempo de computação mais rápido ou decaimento mais lento (para que o gradiente …

40 logistic  neural-networks  least-squares 

Portanto, esta é uma pergunta muito simples e estúpida. No entanto, quando eu estava na escola, prestei muito pouca atenção a todo o conceito de simulações em sala de aula e isso me deixou um pouco aterrorizado com esse processo. Você pode explicar o processo de simulação em termos leigos? …

40 simulation 

Tenho dados que mostram os resultados dos exames de admissão de bombeiros. Estou testando a hipótese de que os resultados dos exames e a etnia não são mutuamente independentes. Para testar isso, fiz um teste do qui-quadrado de Pearson em R. Os resultados mostram o que eu esperava, mas deu …

40 r  categorical-data  chi-squared  small-sample  error-message 

Estou tendo alguns problemas com a derivação da solução para regressão de crista. Conheço a solução de regressão sem o termo de regularização: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. Porém, após adicionar o termo L2 à função cost, como é que a solução se tornaλ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX + \lambda I)^{-1}X^Ty.

40 regression  least-squares  regularization  ridge-regression 

Eu li algumas definições de recall e precisão, embora isso ocorra sempre no contexto da recuperação de informações. Eu queria saber se alguém poderia explicar isso um pouco mais em um contexto de classificação e talvez ilustrar alguns exemplos. Digamos, por exemplo, que eu tenha um classificador binário que me …

40 machine-learning  metric 

Gostaria de encontrar preditores para uma variável dependente contínua de um conjunto de 30 variáveis ​​independentes. Estou usando a regressão Lasso conforme implementada no pacote glmnet em R. Aqui está um código fictício: # generate a dummy dataset with 30 predictors (10 useful & 20 useless) y=rnorm(100) x1=matrix(rnorm(100*20),100,20) x2=matrix(y+rnorm(100*10),100,10) x=cbind(x1,x2) …

40 r  multiple-regression  lasso  glmnet  communication 

Alguém sabe como descobrir se os pontos 7, 16 e 29 são pontos influentes ou não? Li em algum lugar que, como a distância de Cook é menor que 1, eles não são. Estou certo?

40 r  regression  residuals  diagnostic  cooks-distance 

Eu estive pensando sobre isso por um tempo; Acho um pouco estranho o quão abruptamente isso acontece. Basicamente, por que precisamos de apenas três uniformes para que o ZnZnZ_n seja mais suave? E por que a suavização ocorre com tanta rapidez? Z2Z2Z_2 : Z3Z3Z_3 : (imagens descaradamente roubadas do blog …

40 normal-distribution  mathematical-statistics  uniform  central-limit-theorem 

Estou apenas começando a me molhar nas estatísticas, então desculpe se esta pergunta não faz sentido. Eu usei os modelos de Markov para prever estados ocultos (cassinos injustos, jogadas de dados etc.) e redes neurais para estudar os cliques dos usuários em um mecanismo de pesquisa. Ambos tinham estados ocultos …

40 data-mining  algorithms  neural-networks  markov-process 

Estou interessado em determinar o número de padrões significativos provenientes de uma Análise de Componentes Principais (PCA) ou de Função Ortogonal Empírica (EOF). Estou particularmente interessado em aplicar esse método aos dados climáticos. O campo de dados é uma matriz MxN, com M sendo a dimensão do tempo (por exemplo, …

40 r  pca  bootstrap  monte-carlo 

Normalmente, faço minhas próprias escolhas idiossincráticas ao preparar parcelas. No entanto, gostaria de saber se existem práticas recomendadas para gerar plotagens. Nota: O comentário de Rob para uma resposta a esta pergunta é muito relevante aqui.

40 data-visualization  references 

Da Wikipedia: Suponha que você esteja em um game show e tenha a opção de três portas: Atrás de uma porta está um carro; atrás dos outros, cabras. Você escolhe uma porta, digamos o número 1, e o anfitrião, que sabe o que está por trás das portas, abre outra …

40 probability  intuition  puzzle 

Encontrei a unidade linear retificada (ReLU) elogiada em vários locais como uma solução para o problema do gradiente de fuga para redes neurais. Ou seja, usa-se max (0, x) como função de ativação. Quando a ativação é positiva, é óbvio que isso é melhor do que, digamos, a função de …

40 machine-learning  neural-networks  deep-learning  gradient-descent 

Qual seria a abordagem para usar o Dynamic Time Warping (DTW) para executar o agrupamento de séries temporais? Eu li sobre o DTW como uma maneira de encontrar semelhança entre duas séries temporais, enquanto elas poderiam ser alteradas no tempo. Posso usar esse método como uma medida de similaridade para …

40 time-series  clustering