Estatísticas e Big Data

Não encontrei nenhuma literatura sobre a aplicação de florestas aleatórias no MNIST, CIFAR, STL-10, etc., então pensei em experimentá-las com o MNIST invariante, permutador . Em R , tentei: randomForest(train$x, factor(train$y), test$x, factor(test$y), ntree=500) Isso foi executado por 2 horas e ocorreu um erro de teste de 2,8%. Eu também …

9 r  machine-learning  classification  random-forest  scikit-learn 

Parece que, para gerenciar com medições ordenadas, os pesquisadores geralmente lidam com a Correlação Policórica . (Por exemplo, para criar matriz antes de fazer a análise fatorial.) Por que isso? O coeficiente de correlação de classificação Kendall Tau e o coeficiente de correlação de classificação de Spearman também são adequados …

9 correlation  ordinal-data  spearman-rho  kendall-tau  polychoric 

Gostaria de codificar um kmeans agrupado em python usando pandas e scikit learn. Para selecionar o bom k, gostaria de codificar a estatística Gap de Tibshirani e al 2001 ( pdf ). Gostaria de saber se poderia usar o resultado de inércia_ do scikit e adaptar a fórmula estatística de …

9 clustering  python  k-means  scikit-learn  metric 

Eu tenho um conjunto de dados com duas variáveis ​​nominais categóricas (ambas com 5 categorias). Gostaria de saber se (e como) sou capaz de identificar possíveis correlações entre as categorias dessas duas variáveis. Em outras palavras, se, por exemplo, os resultados da categoria na variável 1 mostram uma forte correlação …

9 correlation  residuals  contingency-tables  categorical-data 

ATUALIZAÇÃO 25 de janeiro de 2014: o erro agora está corrigido. Ignore os valores calculados do Valor esperado na imagem carregada - eles estão errados. Não excluo a imagem porque ela gerou uma resposta a esta pergunta. ATUALIZAÇÃO 10 de janeiro de 2014: o erro foi encontrado - um erro …

9 normal-distribution  expected-value  order-statistics  minimum 

Eu sou novo em estatística e estou tentando entender a diferença entre ANOVA e regressão linear. Estou usando R para explorar isso. Eu li vários artigos sobre por que a ANOVA e a regressão são diferentes, mas ainda são as mesmas, e como elas podem ser visualizadas, etc. Entendo que …

9 r  regression  anova 

Suponha que eu tenha dados longitudinais da forma (eu tenho várias observações, essa é apenas a forma de uma única). Estou interessado em restrições sobre Σ . Um irrestrita Σ é equivalente a Y j = α j + j - 1 Σ ℓ = 1 & Phi; ℓ j …

9 feature-selection  lasso  shrinkage 

Deixe- são observações distintas (sem vínculos). Deixe- X * 1 , . . . , X ∗ n denota uma amostra de bootstrap (uma amostra do CDF empírico) e deixa ˉ X ∗ n = 1X1,...,XnX1,...,XnX_{1},...,X_{n}X∗1,...,X∗nX1∗,...,Xn∗X_{1}^{*},...,X_{n}^{*} . EncontreE( ˉ X ∗ n )eVar( ˉ X ∗ n ).X¯∗n=1n∑ni=1X∗iX¯n∗=1n∑i=1nXi∗\bar{X}_{n}^{*}=\frac{1}{n}\sum_{i=1}^{n}X_{i}^{*}E(X¯∗n)E(X¯n∗)E(\bar{X}_{n}^{*})Var(X¯∗n)Var(X¯n∗)\mathrm{Var}(\bar{X}_{n}^{*}) O que …

9 self-study  variance  bootstrap  cdf  conditional-expectation 

Estou me preparando para uma entrevista que requer um conhecimento decente da probabilidade básica (pelo menos para passar pela entrevista em si). Estou revisando a folha abaixo dos meus dias de estudante. Tem sido bastante direto, mas estou completamente perplexo na pergunta 12. http://www.trin.cam.ac.uk/dpk10/IA/exsheet2.pdf Qualquer ajuda seria apreciada. Edit: a …

9 probability  self-study  random-variable 

Eu tenho duas matrizes de pontos 2D e preciso estimar sua correlação. Qual fórmula devo usar? Exemplo de matrizes: X: ( ( 1 , 5 ) , ( 2 , 5 ) , ( 1 , 7 ) , ( 4 , 1 ) ) ,X:((1,5),(2,5),(1,7),(4,1)),X: ((1,5),(2,5),(1,7),(4,1)), Y: ( ( …

9 correlation 

Quero avaliar a precisão dos testes de normalidade em diferentes tamanhos de amostra em R (percebo que os testes de normalidade podem ser enganosos ). Por exemplo, para examinar o teste de Shapiro-Wilk, estou realizando a seguinte simulação (bem como plotando os resultados) e esperaria que, à medida que o …

9 r  simulation  power-analysis  normality-assumption 

Estou tentando estimar o efeito de 2 medicamentos ( drug1, drug2) na probabilidade de um paciente cair ( event). Os pacientes podem cair mais de uma vez e podem ser colocados ou retirados dos medicamentos a qualquer momento. Minha pergunta é como os dados devem ser estruturados com relação ao …

9 r  survival  cox-model 

Recentemente, terminei de ler The Lady Tasting Tea , um livro divertido sobre a história das estatísticas. No final do livro, o autor, David Salsburg , propõe três problemas filosóficos abertos em estatística, cujas soluções ele argumenta teriam implicações maiores para a aplicação da teoria estatística à ciência. Eu nunca …

9 probability 

Eu tenho um modelo de regressão logística (adequado via glmnet em R com regularização líquida elástica) e gostaria de maximizar a diferença entre verdadeiros positivos e falsos positivos. Para fazer isso, veio à mente o seguinte procedimento: Ajuste o modelo de regressão logística padrão Usando o limiar de previsão como …

9 r  regression  logistic  classification  glmnet 

Pergunta : A configuração abaixo é uma implementação sensata de um modelo Hidden Markov? Eu tenho um conjunto de dados de 108,000observações (realizadas ao longo de 100 dias) e aproximadamente 2000eventos ao longo de todo o período de observação. Os dados se parecem com a figura abaixo, onde a variável …

9 time-series  machine-learning  predictive-models  markov-chain  hidden-markov-model