Estatísticas e Big Data

De acordo com a documentação do objeto StandardScaler no scikit-learn: Por exemplo, muitos elementos usados ​​na função objetivo de um algoritmo de aprendizado (como o kernel RBF do Support Vector Machines ou os regularizadores L1 e L2 dos modelos lineares) assumem que todos os recursos estão centralizados em torno de …

9 machine-learning  svm  standard-deviation  mean  references 

Estou trabalhando em uma meta-análise de efeitos aleatórios, cobrindo uma série de estudos que não relatam desvios padrão; todos os estudos relatam o tamanho da amostra. Não acredito que seja possível aproximar ou imputar os dados ausentes do SD. Como uma metanálise que usa diferenças brutas (não padronizadas) significa diferenças …

9 stata  missing-data  meta-analysis  meta-regression 

Isso não resulta em excesso de ajuste? Meus resultados seriam mais confiáveis ​​se eu adicionasse um procedimento de canivete ou bootstrap como parte da análise?

9 multiple-regression  bootstrap  reliability  overfitting  jackknife 

Suponha é uma matriz de dados centralizados na média. A matriz é , possui autovalores distintos e vetores próprios \ mathbf s_1 , \ mathbf s_2 ... \ mathbf s_m , ortogonais.S = cov ( A ) m × m m s 1UMAA\mathbf AS =cov( A )S=cov(A)\mathbf S=\text{cov}(\mathbf A)m × …

9 correlation  pca  linear-algebra 

Como devo entender o anovaresultado ao comparar dois modelos? Exemplo: Res.Df RSS Df Sum of Sq F Pr(>F) 1 9 54.032 2 7 4.632 2 49.4 37.329 0.0001844 *** A página de manual declara: "Computar tabelas de análise de variação (ou desvio) para um ou mais objetos de modelo ajustados". …

9 r  regression  anova 

Questões: Qual é a diferença (ões) entre árvores de regressão reforçada (BRT) e modelos impulsionados generalizados (GBM)? Eles podem ser usados ​​de forma intercambiável? Uma é uma forma específica da outra? Por que Ridgeway usou a frase "Generalized Boosted Regression Models" (GBM), para descrever o que Friedman havia proposto anteriormente …

9 machine-learning  boosting  gbm 

Eu tenho alguns modelos preditivos cujo desempenho eu gostaria de testar novamente (ou seja, levar meu conjunto de dados, "rebobinar" para um ponto anterior no tempo e ver como o modelo teria um desempenho prospectivo). O problema é que alguns dos meus modelos foram criados através de um processo interativo. …

9 cross-validation  modeling  outliers  splines  overfitting 

Quero aprender (deduzir) os pesos dos atributos para a minha medida de dissimilaridade que posso usar para agrupar. Tenho alguns exemplos de pares de objetos que são "semelhantes" (devem estar no mesmo cluster), bem como alguns exemplos ( c i , d i ) de pares de objetos que "não …

9 clustering  similarities  supervised-learning  semi-supervised 

Eu tenho duas cadeias de Markov diferentes, cada uma com um estado de absorção e uma posição inicial conhecida. Quero determinar a probabilidade de que a cadeia 1 atinja um estado de absorção em menos etapas que a cadeia 2. Acho que posso calcular a probabilidade de atingir um estado …

9 probability  markov-chain  transition-matrix 

Na Floresta Aleatória, cada árvore é cultivada em paralelo em uma amostra exclusiva dos dados. Como se espera que cada amostra do boostrap contenha cerca de 63% das observações exclusivas, isso deixa cerca de 37% das observações de fora, que podem ser usadas para testar a árvore. Agora, parece que …

9 machine-learning  cross-validation  data-mining  random-forest  boosting 

Eu tenho um conjunto de dados com variável contínua e uma variável de destino binário (0 e 1). Preciso discretizar as variáveis ​​contínuas (para regressão logística) com relação à variável alvo e com a restrição de que a frequência de observação em cada intervalo seja equilibrada. Tentei algoritmos de aprendizado …

9 r  machine-learning  chi-squared  discrete-data  supervised-learning 

Este artigo afirma que no CART, como uma divisão binária é realizada em uma única covariável em cada etapa, todas as divisões são ortogonais e, portanto, as interações entre covariáveis ​​não são consideradas. No entanto, muitas referências muito sérias afirmam, pelo contrário, que a estrutura hierárquica de uma árvore garante …

9 machine-learning  classification  data-mining  cart 

Dado casos com câncer de pulmão e controles correspondentes (sem câncer de pulmão) (correspondência baseada em idade, sexo, etc.). Para tentar encontrar evidências entre o efeito do fumo no câncer de pulmão, usei o teste exato de Fisher na tabela de contingência. No entanto, isso não levou em consideração que …

9 contingency-tables  fishers-exact  paired-data  mcnemar-test 

12 professores estão ensinando 600 alunos. As 12 coortes ensinadas por esses professores variam em tamanho de 40 a 90 alunos, e esperamos diferenças sistemáticas entre as coortes, já que os alunos de pós-graduação foram desproporcionalmente alocados a coortes particulares, e experiências anteriores mostraram que os alunos de pós-graduação, em …

9 teaching  agreement-statistics 

Hoje, deparei-me com o livro "Teoria da informação: uma introdução tutorial", de James Stone, e pensei por um momento ou dois sobre a extensão do uso da teoria da informação na ciência de dados aplicada (se você não se sente confortável com esse termo ainda um pouco confuso, pense na …

9 information-theory