Estatísticas e Big Data

Quais são as diferenças entre os modelos generativo e discriminativo (discriminante) (no contexto da aprendizagem e inferência bayesiana)? e o que diz respeito à previsão, teoria da decisão ou aprendizado não supervisionado?

22 bayesian  predictive-models  unsupervised-learning 

Gostaria apenas que alguém confirmasse meu entendimento ou se estou perdendo alguma coisa. A definição de um processo de markov diz que o próximo passo depende apenas do estado atual e não do estado passado. Então, digamos que tínhamos um espaço de estado de a, b, c, d e passamos …

22 markov-process 

Dada uma lista de valores-p gerados a partir de testes independentes, classificados em ordem crescente, pode-se usar o procedimento de Benjamini-Hochberg para correção de múltiplos testes . Para cada valor p, o procedimento Benjamini-Hochberg permite calcular a taxa de descoberta falsa (FDR) para cada um dos valores p. Ou seja, …

22 hypothesis-testing 

Analisei um experimento com medidas repetidas ANOVA. A ANOVA é uma 3x2x2x2x3 com 2 fatores entre sujeitos e 3 dentro (N = 189). A taxa de erro é a variável dependente. A distribuição das taxas de erro tem uma inclinação de 3,64 e uma curtose de 15,75. A inclinação e …

22 anova  normality-assumption 

As análises químicas de amostras ambientais são frequentemente censuradas abaixo nos limites de relatório ou em vários limites de detecção / quantificação. Este último pode variar, geralmente na proporção dos valores de outras variáveis. Por exemplo, uma amostra com uma alta concentração de um composto pode precisar ser diluída para …

22 correlation  estimation  censoring  covariance-matrix  unbiased-estimator 

Seguindo esta pergunta : Imagine que você deseja testar as diferenças na tendência central entre dois grupos (por exemplo, homens e mulheres) em um item Likert de 5 pontos (por exemplo, satisfação com a vida: insatisfeito com satisfeito). Penso que um teste t seria suficientemente preciso para a maioria dos …

22 t-test  ordinal-data  likert  scales 

Eu experimentei um processo do mundo real, tempos de ping da rede. O "tempo de ida e volta" é medido em milissegundos. Os resultados são plotados em um histograma: Os tempos de ping têm um valor mínimo, mas uma cauda superior longa. Quero saber qual é a distribuição estatística e …

22 distributions  sample-size  sample  normality-assumption  distribution-identification 

Como prequel para uma pergunta sobre modelos lineares mistos em R, e para compartilhar como referência para os aficionados por estatísticas iniciantes / intermediárias, decidi publicar como um "estilo de perguntas e respostas" independente as etapas envolvidas no cálculo "manual" do coeficientes e valores previstos de uma regressão linear simples. …

22 r  regression  linear-model  lm 

(ATUALIZAÇÃO: Eu mergulhei mais fundo nisso e publiquei os resultados aqui ) A lista de testes estatísticos nomeados é enorme. Muitos dos testes comuns se baseiam na inferência de modelos lineares simples, por exemplo, um teste t de uma amostra é apenas y = β + ε que é testado …

22 regression  correlation  anova  t-test  linear-model 

A primeira frase desta página wiki afirma que "Na econometria, um problema de endogeneidade ocorre quando uma variável explicativa é correlacionada com o termo do erro. 1 " Minha pergunta é: como isso pode acontecer? A regressão beta não é escolhida de forma que o termo do erro seja ortogonal …

22 regression 

Qual é a propriedade oracle de um estimador? Para quais objetivos de modelagem é relevante a propriedade do oráculo (preditivo, explicativo, ...)? As explicações teoricamente rigorosas e (especialmente) intuitivas são bem-vindas.

22 feature-selection  model-selection  estimators  oracle 

Para ilustrar minha pergunta, suponha que eu tenha um conjunto de treinamento em que a entrada tenha um grau de ruído, mas a saída não, por exemplo; # Training data [1.02, 1.95, 2.01, 3.06] : [1.0] [2.03, 4.11, 5.92, 8.00] : [2.0] [10.01, 11.02, 11.96, 12.04] : [1.0] [2.99, 6.06, …

22 regression  machine-learning  neural-networks  confidence-interval  prediction-interval 

Eu lido com um problema de detecção de fraude (como pontuação de crédito). Como tal, existe uma relação altamente desequilibrada entre observações fraudulentas e não fraudulentas. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html fornece uma excelente visão geral das diferentes métricas de classificação. Precision and Recallou kappaambos parecem ser uma boa escolha: Uma maneira de justificar …

22 classification  unbalanced-classes  precision-recall  cohens-kappa  model-evaluation 

Bem, a pergunta já diz tudo. O que se entende por "pré-treinar uma rede neural"? Alguém pode explicar em inglês simples e puro? Não consigo encontrar recursos relacionados a ele. Seria ótimo se alguém pudesse me apontar para eles.

22 neural-networks  pre-training 

Sou um entusiasta da programação e aprendizado de máquina. Apenas alguns meses atrás, comecei a aprender sobre programação de aprendizado de máquina. Como muitos que não têm formação científica quantitativa, também comecei a aprender sobre ML, mexendo com os algoritmos e conjuntos de dados no pacote ML amplamente utilizado (caret …

22 machine-learning