Estatísticas e Big Data

Suponha que eu esteja fazendo regressão com conjuntos de treinamento, validação e teste. Posso encontrar RMSE e R ao quadrado (R ^ 2, o coeficiente de determinação) da saída do meu software (como a função lm () de R). Meu entendimento é que o teste RMSE (ou MSE) é a …

11 r  regression  regression-coefficients  r-squared 

Eu tenho uma pergunta geral. Recentemente, acabei de aprender Expansão e Regularização Básica. Existem várias técnicas interessantes, incluindo: spline cúbico, spline natural, spline b e spline de suavização . A questão é: quais são os prós e os contras (se houver) do spline de suavização em comparação com o spline …

11 regression  smoothing 

Estou trabalhando com dados desequilibrados, onde existem cerca de 40 casos de classe = 0 para cada classe = 1. Eu posso discriminar razoavelmente entre as classes usando recursos individuais, e treinar um classificador ingênuo de Bayes e SVM em 6 recursos e dados balanceados gerou uma melhor discriminação (curvas …

11 classification  svm  roc  naive-bayes  precision-recall 

Encontrei um problema no livro didático para estimar a média. O problema do livro é o seguinte: Suponha que pontos de dados, , ,. . . , x_N , foram gerados por um pdf gaussiano unidimensional de média desconhecida, mas de variação conhecida. Derivar a estimativa ML da média.x 1 …

11 self-study  normal-distribution  maximum-likelihood 

Encontrei muitos posts úteis sobre variáveis ​​independentes padronizadas e variáveis ​​independentes centralizadas no stats.stackexchange.com, mas ainda estou um pouco confuso. Estou lhe pedindo uma avaliação do que entendi. Além disso, se o que se segue não estiver correto, você poderia me corrigir? Como padronizar. As variáveis ​​padronizadas são obtidas subtraindo …

11 regression  data-transformation  interpretation  standardization  centering 

Estou usando o caretpacote no Rtreinamento de classificadores binários SVM. Para redução de recursos, estou pré-processando com o PCA usando o recurso incorporado preProc=c("pca")ao chamar train(). Aqui estão as minhas perguntas: Como o sinal de intercalação seleciona os principais componentes? Existe um número fixo de componentes principais que está selecionado? …

11 r  machine-learning  pca  cross-validation  caret 

Estou tentando entender algumas descrições do PCA (os dois primeiros são da Wikipedia), ênfase adicionada: Os componentes principais são garantidos como independentes apenas se o conjunto de dados for normalmente distribuído em conjunto . A independência dos principais componentes é muito importante? Como posso entender essa descrição? O PCA é …

11 pca  dimensionality-reduction 

Estou tentando implementar e aprender um processo de Dirichlet para agrupar meus dados (ou, conforme as pessoas do aprendizado de máquina falam, estimam a densidade). Eu li muito papel no tópico e meio que entendi a idéia. Mas ainda estou confuso; aqui está uma série de perguntas, 1) Qual é …

11 machine-learning  clustering  dirichlet-process 

Propriedade de invariância do MLE: se é o MLE de , então para qualquer função , o MLE de é . θ^θ^\hat{\theta}θθ\thetaf( θ )f(θ)f(\theta)f( θ )f(θ)f(\theta)f( θ^)f(θ^)f(\hat{\theta}) Além disso, deve ser uma função individual.fff O livro diz: "Por exemplo, para estimar , o quadrado de uma média normal, o mapeamento …

11 maximum-likelihood  point-estimation 

Estou tendo um problema ao usar o 2l.normmétodo de imputação em vários níveis no Windows mice. Infelizmente, não posso postar um exemplo reproduzível por causa do tamanho dos meus dados - quando reduzo o tamanho, o problema desaparece. Para uma variável específica, miceproduz os seguintes erros e avisos: Error in …

11 r  missing-data  multiple-imputation  mice 

Seja QpQpQ_p uma classe de distribuições de probabilidade em reais não negativos parametrizados por ppp , de modo que Qp([0,∞))=1.Qp([0,∞))=1. Q_p([0,\infty)) = 1. Gostaria de saber quais classes de distribuição conhecidas são fechadas sob o máximo e, por exemplo, se X1∼Qp1X1∼Qp1X_1\sim Q_{p_1} e X2∼Qp2X2∼Qp2X_2\sim Q_{p_2} são independentes, em seguida, max(X1,X2)∼Qp3max(X1,X2)∼Qp3\max(X_1,X_2)\sim …

11 distributions 

Em R, o stepcomando supostamente pretende ajudá-lo a selecionar as variáveis ​​de entrada para o seu modelo, certo? O seguinte vem de example(step)#-> swiss& step(lm1) > step(lm1) Start: AIC=190.69 Fertility ~ Agriculture + Examination + Education + Catholic + Infant.Mortality Df Sum of Sq RSS AIC - Examination 1 53.03 …

11 r  self-study  stepwise-regression 

Olá colegas estatísticos, Eu tenho uma fonte gerando hashes (por exemplo, computando uma string com um carimbo de data e hora e outras informações e hash com md5) e quero projetá-la em um número fixo de buckets (digamos 100). hash de amostra: 0fb916f0b174c66fd35ef078d861a367 O que eu pensei inicialmente era usar …

11 uniform 

Esta página wiki Regressão Linear Simples tem fórmulas para calcularαα\alpha e ββ\beta. Alguém poderia me dizer como derivar as fórmulas em caso ponderado?

11 regression 

A chuva nunca estuda, por isso ela é completamente ignorante durante o meio do período, mesmo que consistindo apenas de perguntas Sim / Não. Felizmente, o professor de Rain permite que ela retome o mesmo intermediário quantas vezes quiser, mas ele apenas reporta a pontuação, para que Rain não saiba …

11 probability  distributions  self-study  entropy  decision-theory