Estatísticas e Big Data

Estou trabalhando na previsão de séries temporais. I tem dois conjuntos de dados D 1 = { x1 1, x2, . . . . xn}D1={x1,x2,....xn}D1=\{x_1, x_2,....x_n\} e D 2 = { xn+ 1 , xn+ 2 , xn+ 3 , . . . . , xn+ k }D2={xn+1,xn+2,xn+3,....,xn+k}D2=\{x_n+1, x_n+2, x_n+3,...., …

10 time-series  machine-learning  statistical-significance  classification  model-evaluation 

Estou interessado na definição de quartil que geralmente é usada quando você está em estatística básica. Eu tenho um livro do tipo Stat 101 e apenas fornece uma definição intuitiva. "Cerca de um quarto dos dados cai no ou no primeiro quartil ..." Mas, dá um exemplo em que calcula …

10 excel  quantiles 

Existem suposições particulares em relação aos erros de regressão logística, como a variação constante dos termos do erro e a normalidade dos resíduos? Também normalmente quando você tem pontos com uma distância de Cook maior que 4 / n, você os remove? Se você os remover, como saber se o …

10 regression  logistic  residuals  diagnostic  cooks-distance 

Por favor, veja editar. Quando você tem dados com caudas pesadas, fazer uma regressão com erros de student-t parece uma coisa intuitiva. Ao explorar essa possibilidade, encontrei este artigo: Breusch, TS, Robertson, JC, & Welsh, AH (01 de novembro de 1997). As novas roupas do imperador: uma crítica ao modelo …

10 regression  mathematical-statistics  modeling  robust 

O que são priores hierárquicos? Como eles diferem do conceito geral de anteriores?

10 bayesian  multilevel-analysis 

Pensar em probabilidade sempre me faz perceber o quão ruim sou em contar ... Considere uma sequência de letras base , cada um com a mesma probabilidade de aparecer. Qual é a probabilidade de que essa sequência contenha uma sequência específica de pares de bases de interesse de comprimento ?A …

10 probability  combinatorics 

Suponha que tenhamos duas amostras e desejamos determinar se elas são extraídas da mesma distribuição, como as amostras A, B sendo compostas por alguns números inteiros. Se testarmos isso usando um teste de permutação de duas amostras, especificamente examinando permutações em que as diferenças nas médias das amostras são tão …

10 permutation-test 

Uma abordagem tradicional da construção de recursos para mineração de texto é a abordagem por palavras, e pode ser aprimorada usando tf-idf para configurar o vetor de recursos que caracteriza um determinado documento de texto. No momento, estou tentando usar o modelo de linguagem bi-grama ou (N-grama) para criar vetor …

10 machine-learning  data-mining  text-mining  natural-language  language-models 

Eu tenho uma série temporal (digamos a ) e preciso prever a próxima amostra (digamos ) usando o modelo como rede neural ou regressão linear múltipla. No momento n, tenho toda a amostra de a e preciso prever ; no momento , tenho toda a amostra de a e preciso …

10 time-series  prediction-interval 

Estou tentando encontrar a correlação entre uma variável dicotômica e uma variável contínua. Do meu trabalho de base sobre isso, descobri que tenho que usar o teste t independente e a pré-condição para isso é que a distribuição da variável tenha que ser normal. Realizei o teste de Kolmogorov-Smirnov para …

10 normal-distribution  categorical-data  continuous-data  kolmogorov-smirnov  association-measure 

Eu tenho várias distribuições (10 distribuições na figura abaixo). De fato, estes são histogramas: existem 70 valores no eixo x, que são os tamanhos de algumas partículas em uma solução e para cada valor de x o valor correspondente de y é a proporção de partículas cujo tamanho é em …

10 clustering 

Um modelo marginal é responsável pela correlação dentro de cada cluster. Um modelo condicional também leva em consideração a correlação dentro de cada cluster. Minhas perguntas são: Um modelo marginal modela os efeitos principais em uma população, enquanto um modelo condicional modela os efeitos principais em um cluster e em …

10 repeated-measures  interpretation  regression-coefficients  marginal-model 

Minha pergunta é se existem bons materiais on-line para aprender isso. Algo que introduz bem as coisas, especialmente os modelos ARMA e a matemática relacionada. Edit: Eu estou procurando algo do nível de graduação high-end. Algo como em Introdução às séries temporais e previsão de Brockwell e Davis

10 time-series  references  arma 

Eu tenho uma máquina protótipo produzindo peças. Em um primeiro teste, a máquina produz peças e um classificador binário diz que as peças estão com defeito ( , geralmente e ) e peças são boas.d 1 d 1 &lt; N 1 dN1 1N1N_1d1 1d1d_1d1 1&lt; N1 1d1&lt;N1d_1 < N_1N 1 …

10 hypothesis-testing  statistical-significance  classification  proportion 

Estou tentando agrupar, por exemplo, strings sobre programação com outras strings sobre programação, strings sobre física com outras strings sobre física, etc., para uma ampla gama de tópicos. Apesar do aspecto linguístico teórico gritante do problema, estou procurando fazer isso usando programação / software. Resumo: Dado um grande número de …

10 natural-language  data-mining