Estatísticas e Big Data

Venho realizando uma competição de aprendizado de máquina em que eles usam o RMSLE (erro logarítmico quadrado médio da raiz) para avaliar o desempenho que prevê o preço de venda de uma categoria de equipamento. O problema é que não tenho certeza de como interpretar o sucesso do meu resultado …

29 regression  machine-learning  interpretation  measurement-error  theory 

Com base na precisão estimada da classificação, quero testar se um classificador é estatisticamente melhor em um conjunto básico do que outro classificador. Para cada classificador, seleciono uma amostra de treinamento e teste aleatoriamente no conjunto base, treino o modelo e testo o modelo. Faço isso dez vezes para cada …

29 machine-learning  classification  t-test 

Estou tentando aprender vários métodos de validação cruzada, principalmente com a intenção de aplicar a técnicas de análise multivariada supervisionada. Dois que eu encontrei são as técnicas de validação cruzada K-fold e Monte Carlo. Eu li que o K-fold é uma variação de Monte Carlo, mas não tenho certeza de …

29 cross-validation  monte-carlo 

Para estimadores univariados de densidade de kernel (KDE), eu uso a regra de Silverman para calcular :hhh 0.9min(sd,IQR/1.34)×n−0.20.9min(sd,IQR/1.34)×n−0.2\begin{equation} 0.9 \min(sd, IQR/1.34)\times n^{-0.2} \end{equation} Quais são as regras padrão para o KDE multivariado (assumindo um kernel Normal).

29 smoothing  kernel-smoothing 

Estou usando o sinal de intercalação para executar uma floresta aleatória validada cruzada em um conjunto de dados. A variável Y é um fator. Não há NaN, Inf ou NA no meu conjunto de dados. No entanto, ao executar a floresta aleatória, recebo Error in randomForest.default(m, y, ...) : NA/NaN/Inf …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

Estou estudando PCA no curso Coursera de Andrew Ng e outros materiais. Na primeira tarefa do curso de PNL de Stanford, cs224n , e no vídeo da aula de Andrew Ng , eles fazem decomposição de valor singular em vez de decomposição de vetor próprio da matriz de covariância, e …

29 pca  linear-algebra  svd  eigenvalues  numerics 

Estou fazendo o curso de Machine Learning Stanford no Coursera. No capítulo Regressão logística, a função de custo é esta: Então, é derivado aqui: Tentei obter a derivada da função de custo, mas obtive algo completamente diferente. Como é obtido o derivado? Quais são as etapas intermediárias?

29 regression  logistic  gradient-descent  derivative 

Eu tenho abaixo um exemplo que tirei da documentação sklearn.metrics.classification_report do sklearn. O que não entendo é por que existem valores de pontuação f1, precisão e recordação para cada classe em que acredito que classe é o rótulo do preditor? Eu pensei que a pontuação f1 informa a precisão geral …

29 machine-learning  python  scikit-learn  precision-recall 

Estou usando o pacote robustbase para executar uma estimativa de glm. No entanto, quando faço isso, recebo o seguinte erro: Error in solve.default(crossprod(X, DiagB * X)/nobs, EEq) : system is computationally singular: reciprocal condition number = 1.66807e-16 O que isso significa / indica? E como posso depurá-lo? PS. Se você …

29 r  generalized-linear-model  robust 

Eu tenho dois classificadores A: rede bayesiana ingênua B: rede bayesiana em árvore (conectada individualmente) Em termos de precisão e outras medidas, A tem um desempenho comparativamente pior que B. No entanto, quando eu uso os pacotes R ROCR e AUC para realizar análises ROC, verifica-se que a AUC para …

29 machine-learning  classification  roc  auc  bayesian-network 

Estou tentando criar uma métrica para medir a não uniformidade de uma distribuição para um experimento que estou executando. Eu tenho uma variável aleatória que deve ser distribuída uniformemente na maioria dos casos, e eu gostaria de poder identificar (e possivelmente medir o grau de) exemplos de conjuntos de dados …

28 distributions  variance  random-variable  uniform 

O Statistics.com publicou um problema da semana: A taxa de fraude em seguros residenciais é de 10% (uma em cada dez reivindicações é fraudulenta). Um consultor propôs um sistema de aprendizado de máquina para revisar reivindicações e classificá-las como fraude ou não-fraude. O sistema tem 90% de eficiência na detecção …

28 probability  bayesian  puzzle 

Aprendi que, ao lidar com dados usando a abordagem baseada em modelo, o primeiro passo é modelar o procedimento de dados como um modelo estatístico. O próximo passo é desenvolver um algoritmo eficiente / rápido de inferência / aprendizado com base nesse modelo estatístico. Então, eu quero perguntar qual modelo …

28 machine-learning  svm  modeling 

Esta é uma pergunta de entrevista para uma posição quantitativa de analista, relatada aqui . Suponhamos que estamos desenhando a partir de uma distribuição uniforme [0,1][0,1][0,1] e os empates são iid, qual é o comprimento esperado de uma distribuição que aumenta monotonicamente? Ou seja, paramos de desenhar se o desenho …

28 probability  random-variable  expected-value  uniform  iid 

Sob mistura de duas distribuições normais: https://en.wikipedia.org/wiki/Multimodal_distribution#Mixture_of_two_normal_distributions "Uma mistura de duas distribuições normais tem cinco parâmetros para estimar: as duas médias, as duas variações e o parâmetro de mistura. Uma mistura de duas distribuições normais com desvios padrão iguais é bimodal somente se suas médias diferirem pelo menos duas vezes …

28 bimodal