Estatísticas e Big Data

Estatísticas estão em todo lugar; o uso comum de termos estatísticos é, no entanto, frequentemente incerto. Os termos probabilidade e probabilidades são usados ​​intercambiáveis ​​no inglês leigo, apesar de suas expressões matemáticas bem definidas e diferentes. Não separar o termo probabilidade de probabilidade confunde rotineiramente os médicos que tentam quantificar …

103 terminology 

Gostaria que seus pensamentos sobre as diferenças entre validação cruzada e bootstrapping estimassem o erro de previsão. Funciona melhor para tamanhos de conjuntos de dados pequenos ou grandes?

103 cross-validation  predictive-models  bootstrap 

Recentemente, fiz uma pergunta sobre princípios gerais em torno da revisão de estatísticas em artigos . O que eu gostaria agora de perguntar é o que o irrita particularmente ao revisar um artigo, ou seja, qual é a melhor maneira de realmente irritar um árbitro estatístico! Um exemplo por resposta, …

102 references  referee 

Em um modelo linear simples com uma única variável explicativa, αi=β0+β1δi+ϵiαi=β0+β1δi+ϵi\alpha_i = \beta_0 + \beta_1 \delta_i + \epsilon_i Acho que remover o termo de interceptação melhora muito o ajuste (o valor de varia de 0,3 a 0,9). No entanto, o termo de interceptação parece ser estatisticamente significativo.R2R2R^2 Com interceptação: Call: …

101 r  linear-model  interpretation  r-squared  intercept 

Suponha que tenhamos algum conjunto de treinamento para . Suponha também que executemos algum tipo de algoritmo de aprendizado supervisionado no conjunto de treinamento. As hipóteses são representadas como . Precisamos encontrar os parâmetros que minimizem a "distância" entre e . Seja(x(i),y(i))(x(i),y(i))(x_{(i)}, y_{(i)})i=1,…,mi=1,…,mi = 1, \dots, mhθ(x(i))=θ0+θ1x(i)1+⋯+θnx(i)nhθ(x(i))=θ0+θ1x(i)1+⋯+θnx(i)nh_{\theta}(x_{(i)}) = \theta_0+\theta_{1}x_{(i)1} + …

101 optimization  gradient-descent  sgd 

Já temos vários threads marcados como valores-p que revelam muitos mal-entendidos sobre eles. Há dez meses, tínhamos uma discussão sobre periódicos psicológicos que " baniam " os valores deppp , agora a American Statistical Association (2016) diz que, com nossa análise, "não devemos terminar com o cálculo de um valor …

100 hypothesis-testing  bayesian  p-value  frequentist 

Comecei pela análise de séries temporais de Hamilton, mas estou perdido sem esperança. Este livro é realmente muito teórico para eu aprender sozinho. Alguém tem uma recomendação para um livro didático sobre análise de séries temporais adequado para auto-estudo?

99 time-series  self-study  references 

Refiro-me, em particular, ao coeficiente de correlação produto-momento de Pearson.

99 correlation  regression 

Eu tenho trabalhado em um novo método para analisar e analisar conjuntos de dados para identificar e isolar subgrupos de uma população sem conhecer as características de nenhum subgrupo. Embora o método funcione bem o suficiente com amostras de dados artificiais (ou seja, conjuntos de dados criados especificamente com o …

98 dataset  sample  population  teaching 

Sou muito novo em estatística e só estou aprendendo a entender o básico, incluindo os valores de . Mas há um enorme ponto de interrogação em minha mente agora e eu meio que espero que meu entendimento esteja errado. Aqui está o meu processo de pensamento:ppp Não são todas as …

98 hypothesis-testing  statistical-significance  p-value 

Alguém pode explicar as principais diferenças entre árvores de inferência condicional ( ctreedo partypacote em R) em comparação com os algoritmos mais tradicionais da árvore de decisão (como rpartem R)? O que diferencia as árvores de IC? Forças e fraquezas? Atualização: Analisei o artigo de Horthorn et al. Que Chi …

97 r  machine-learning  cart 

O coeficiente de correlação de Pearson de x e y é o mesmo, calculando pearson (x, y) ou pearson (y, x). Isso sugere que fazer uma regressão linear de y dado x ou x dado y deve ser o mesmo, mas não acho que seja esse o caso. Alguém pode …

97 regression  correlation  linear-model  pearson-r 

Estou lendo os livros sobre regressão linear. Existem algumas frases sobre a norma L1 e L2. Eu os conheço, só não entendo por que a norma L1 para modelos esparsos. Alguém pode dar uma explicação simples?

97 regression  lasso  regularization  ridge-regression 

Muitos classificadores de aprendizado de máquina (por exemplo, máquinas de vetores de suporte) permitem especificar um kernel. Qual seria uma maneira intuitiva de explicar o que é um kernel? Um aspecto em que tenho pensado é a distinção entre núcleos lineares e não lineares. Em termos simples, eu poderia falar …

97 machine-learning  svm  references  kernel-trick  intuition 

Como você explicaria intuitivamente o que é uma raiz unitária, no contexto do teste de raiz unitária? Estou pensando em maneiras de explicar, da mesma maneira que fundei nesta questão . O caso da raiz unitária é que eu sei (a propósito, pouco) que o teste da raiz unitária é …

97 intuition  unit-root