Estatísticas e Big Data

Eu estou usando R, eu procurei no Google e descobriu que kpss.test(), PP.test()eadf.test() são usados para saber sobre estacionariedade de séries temporais. Mas eu não sou um estatístico, que pode interpretar seus resultados > PP.test(x) Phillips-Perron Unit Root Test data: x Dickey-Fuller = -30.649, Truncation lag parameter = 7, p-value …

30 r  time-series  stationarity  augmented-dickey-fuller  kpss-test 

Estou pensando nisso de uma perspectiva de requisitos mínimos muito básica. Quais são as principais teorias que um estatístico da indústria (não acadêmico) deve conhecer, entender e utilizar regularmente? Um grande problema que vem à mente é a lei dos grandes números . Quais são os mais essenciais para aplicar …

30 theory  careers  law-of-large-numbers 

A versão tl; dr Que estratégias bem-sucedidas você emprega para ensinar a distribuição amostral (por exemplo, uma média amostral) no nível de graduação introdutório? O fundo Em setembro, darei um curso introdutório de estatística para alunos do segundo ano de ciências sociais (principalmente ciências políticas e sociologia), usando A prática …

30 distributions  sampling  teaching 

Modelos aditivos generalizados são aqueles em que por exemplo. as funções são suaves e devem ser estimadas. Geralmente por splines penalizados. MGCV é um pacote em R que faz isso, e o autor (Simon Wood) escreve um livro sobre seu pacote com exemplos de R. Ruppert et al. (2003) escrevem …

30 r  nonparametric  interaction  splines  intuition 

Eu tenho uma tarefa de classificação na qual tenho vários preditores (um dos quais é o mais informativo) e estou usando o modelo MARS para construir meu classificador (estou interessado em qualquer modelo simples e usar glms para fins ilustrativos seria bem também). Agora, tenho um enorme desequilíbrio de classe …

30 machine-learning  roc  precision-recall  unbalanced-classes  data-visualization 

A probabilidade pode ser definida de várias maneiras, por exemplo: a função euLL de que mapeia para isto é, .Θ × XΘ×X\Theta\times{\cal X}( θ , x )(θ,x)(\theta,x)L ( θ ∣ x )eu(θ∣x)L(\theta \mid x)L : Θ × X→ Reu:Θ×X→RL:\Theta\times{\cal X} \rightarrow \mathbb{R} a função aleatóriaL(⋅∣X)eu(⋅∣X)L(\cdot \mid X) também podemos considerar …

30 mathematical-statistics  likelihood  likelihood-ratio  parametric 

Esta é uma pergunta elementar, mas não consegui encontrar a resposta. Eu tenho duas medidas: n1 eventos no tempo t1 e n2 eventos no tempo t2, ambos produzidos (digamos) por processos de Poisson com valores lambda possivelmente diferentes. Na verdade, isso é de um artigo de notícias, que afirma essencialmente …

30 hypothesis-testing  poisson-distribution 

Encontrei este belo tutorial: Um manual de análises estatísticas usando R. Capítulo 13. Análise de componentes principais: O heptatlo olímpico sobre como fazer PCA na linguagem R. Não entendo a interpretação da Figura 13.3: Então, eu estou plotando o primeiro vetor próprio vs o segundo vetor próprio. O que isso …

30 r  pca  data-visualization  interpretation  biplot 

Existe um modelo de visualização bom para mostrar a sobreposição de interseção de muitos conjuntos? Estou pensando em algo como os diagramas de Venn, mas que de alguma forma podem se prestar melhor a um número maior de conjuntos, como 10 ou mais. A Wikipedia mostra alguns diagramas de Venn …

30 data-visualization  dataset 

Estou tentando acelerar a resposta com R. Eu finalmente quero usar as bibliotecas R para fazer a classificação de texto. Fiquei me perguntando quais são as experiências das pessoas com relação à escalabilidade de R quando se trata de fazer a classificação de texto. É provável que eu ocorra com …

30 r  machine-learning  svm  text-mining  random-forest 

Se eu entendi corretamente, um intervalo de confiança de um parâmetro é um intervalo construído por um método que gera intervalos contendo o valor verdadeiro para uma proporção especificada de amostras. Portanto, a 'confiança' é mais sobre o método do que o intervalo que eu calculo de uma amostra específica. …

30 confidence-interval  interpretation 

Qual é a diferença entre o teste de normalidade Shapiro-Wilk e o teste de normalidade Kolmogorov-Smirnov? Quando os resultados desses dois métodos serão diferentes?

30 distributions  statistical-significance  normality-assumption  kolmogorov-smirnov 

Utilizei o código r a seguir para estimar os intervalos de confiança de uma proporção binomial, porque entendo que isso substitui um "cálculo de potência" ao projetar receptores que operam projetos de curvas características, procurando detectar doenças em uma população. n é 150, e acreditamos que a doença seja 25% …

30 confidence-interval  binomial 

Que diferença faz a centralização (ou remoção do significado) de seus dados para o PCA? Ouvi dizer que isso facilita a matemática ou impede que o primeiro PC seja dominado pelos meios das variáveis, mas sinto que ainda não fui capaz de entender o conceito com firmeza. Por exemplo, a …

30 r  pca  svd  eigenvalues  centering 

Estou examinando as anotações de Andrew Ng sobre aprendizado de máquina. As notas nos apresentam regressão logística e, em seguida, perceptron. Ao descrever o Perceptron, as notas dizem que apenas mudamos a definição da função de limite usada para a regressão logística. Depois disso, podemos usar o modelo Perceptron para …

30 regression  machine-learning  self-study  logistic  perceptron