Estatísticas e Big Data

O SVM lida com o conjunto de dados desequilibrado? Existem parâmetros (como C ou custo de classificação incorreta) que lidam com o conjunto de dados desequilibrado?

14 machine-learning  svm  unbalanced-classes 

Fiquei imaginando quais são as principais diferenças significativas entre a Teoria da resposta ao item e a Análise fatorial confirmatória. Entendo que existem diferenças nos cálculos (focando mais no item vs. covariâncias; log-linear vs. linear). No entanto, não tenho idéia do que isso significa de uma perspectiva de nível superior …

14 confirmatory-factor  irt 

Procurei na web, mas não encontrei nada útil. Basicamente, estou procurando uma maneira de medir o quão 'uniformemente' um valor é distribuído. Como em uma distribuição distribuída 'uniformemente' como X : e uma distribuição Y 'desigual' distribuída aproximadamente da mesma média e desvio padrão: Mas existe alguma medida de uniformidade …

14 variance  standard-deviation  descriptive-statistics  measurement 

Eu li diferentes descrições de dados censurados: A) Conforme explicado neste tópico, dados não quantificados abaixo ou acima de um determinado limite são censurados. Não quantificado significa que os dados estão acima ou abaixo de um determinado limite, mas não sabemos o valor exato. Os dados são marcados no valor …

14 regression  terminology  censoring 

Suponha que se execute a chamada inicialização não-paramétrica, desenhando BBB amostras de tamanho nnn cada uma das nnn observações originais com substituição. Eu acredito que este procedimento é equivalente a estimar a função de distribuição cumulativa pelo cdf empírico: http://en.wikipedia.org/wiki/Empirical_distribution_function e, em seguida, obtendo as amostras de autoinicialização simulando nnn …

14 bootstrap  sample-size  sample  small-sample  finite-population 

Esta questão não se refere especificamente R, mas optei Rpor ilustrá-la. Considere o código para produzir faixas de confiança em torno de uma linha qq (normal): library(car) library(MASS) b0<-lm(deaths~.,data=road) qqPlot(b0$resid,pch=16,line="robust") Estou procurando uma explicação de (ou um link alternativo para um documento em papel / online explicando) como essas faixas …

14 confidence-interval  linear-model  qq-plot 

Eu sei que existe algoritmo de agrupamento k-means e mediana k. Um que usa a média como o centro do cluster e o outro usa a mediana. Minha pergunta é: quando / onde usar qual?

14 clustering  k-means 

Um amigo representa um cliente em apelação, após um julgamento criminal no qual parece que a seleção do júri foi racialmente tendenciosa. O júri consistia de 30 pessoas, em 4 grupos raciais. A acusação usou desafios peremptórios para eliminar 10 dessas pessoas da piscina. O número de pessoas e o …

14 probability  statistical-significance  references  bias  combinatorics 

Eu tenho um problema de classificação binária de vários recursos. Os coeficientes de uma regressão logística (regularizada) têm um significado interpretável? Eu pensei que eles poderiam indicar o tamanho da influência, considerando que os recursos são normalizados de antemão. No entanto, no meu problema, os coeficientes parecem depender sensivelmente dos …

14 logistic  regression-coefficients 

Costumo ouvir a afirmação de que as estatísticas bayesianas podem ser altamente subjetivas. O argumento principal é que a inferência depende da escolha de um prior (mesmo que alguém possa usar o princípio de indiferença ou entropia máxima para escolher um prior). Em comparação, afirma a alegação, as estatísticas freqüentistas …

14 bayesian  interpretation  frequentist  philosophical 

O diagnóstico Gelman e Rubin é usado para verificar a convergência de várias cadeias mcmc executadas em paralelo. Ele compara a variação dentro da cadeia com a variação entre as cadeias, a exposição é abaixo: Etapas (para cada parâmetro): Execute m ≥ 2 cadeias de comprimento 2n a partir dos …

14 mcmc  convergence  covariance-matrix 

Estou lendo um artigo e o autor escreveu: O efeito de A, B, C em Y foi estudado através do uso de análise de regressão múltipla. A, B, C foram inseridos na equação de regressão com Y como a variável dependente. A análise de variância é apresentada na Tabela 3. …

14 regression  correlation  terminology 

Como Pearson apresentou as seguintes estatísticas qui-quadrado de Pearson em 1900? que K~χ2K= ∑ ( Oeu j- Eeu j)2Eeu jK=∑(OEuj-EEuj)2EEuj K = \sum \frac{(O_{ij} -E_{ij})^2}{E_{ij}} K∼ χ2K∼χ2 K \sim \chi^2 Ele tinha o qui-quadrado em mente e inventou a métrica KKK (abordagem de baixo para cima), ou inventou a estatística …

14 chi-squared  descriptive-statistics  history 

Para avaliar o desempenho de um novo algoritmo classificador, estou tentando comparar a precisão e a complexidade (grande O no treinamento e classificação). No Machine Learning: uma revisão , recebo uma lista completa de classificadores supervisionados, também uma tabela de precisão entre os algoritmos e 44 problemas de teste no …

14 machine-learning  classification  multiple-comparisons  algorithms  time-complexity 

Estou procurando um método para calcular a área de sobreposição entre duas estimativas de densidade de kernel em R, como uma medida de similaridade entre duas amostras. Para esclarecer, no exemplo a seguir, eu precisaria quantificar a área da região sobreposta arroxeada: library(ggplot2) set.seed(1234) d <- data.frame(variable=c(rep("a", 50), rep("b", 30)), …

14 r  probability  pdf  kernel-smoothing