Estatísticas e Big Data

Eu tenho um modelo montado (da literatura). Eu também tenho os dados brutos para as variáveis ​​preditivas. Qual é a equação que devo usar para obter probabilidades? Basicamente, como combinar dados brutos e coeficientes para obter probabilidades?

17 regression  logistic 

Um aumento no número de casos e mortes ocorre durante epidemias (aumento repentino de números) devido à circulação de vírus (como o vírus do Nilo Ocidental nos EUA em 2002) ou à diminuição da resistência de pessoas ou à contaminação de alimentos ou água ou ao aumento do número de …

17 time-series  forecasting  epidemiology  outliers 

Suponha que tenhamos NNN variáveis ​​mensuráveis, ( a1, um2, ... , UmN)(uma1,uma2,...,umaN)(a_1, a_2, \ldots, a_N) , fazemos um número M> NM>NM > N de medições e, em seguida, desejamos realizar uma decomposição de valor singular nos resultados para encontrar os eixos de maior variância para a MMM pontos no espaço …

17 pca  data-transformation  normalization  dimensionality-reduction  svd 

Estou tentando entender a lógica por trás do teste F da ANOVA na análise de regressão linear simples. A pergunta que tenho é a seguinte. Quando o valor F, ou seja, MSR/MSEé grande, aceitamos o modelo como significativo. Qual é a lógica por trás disso?

17 regression  anova 

Estou procurando criar um modelo preditivo para prever a rotatividade e pretendo usar um modelo de sobrevivência de tempo discreto ajustado a um conjunto de dados de treinamento por período de pessoa (uma linha para cada cliente e período discreto em que eles estavam em risco, com um indicador de …

17 survival  predictive-models  churn 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 2 anos . Estou usando Sweave e xtable para gerar um relatório. Gostaria de adicionar um pouco de …

17 r  reproducible-research 

Suponha que eu tenha dois conjuntos e e uma distribuição de probabilidade conjunta sobre esses conjuntos . Deixe e representam as distribuições marginais mais de e , respectivamente.Y p ( x , y ) p ( x ) p ( y ) X YXXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY As informações mútuas entre e são …

17 entropy  mutual-information  information-theory 

Estou dando uma aula de introdução às estatísticas e estava revisando os tipos de amostragem, incluindo amostragem sistemática, em que você experimenta cada k-ésimo indivíduo ou objeto. Um aluno perguntou se a amostragem de cada pessoa com uma característica em particular realizaria a mesma coisa. Por exemplo, amostrar todas as …

17 sampling 

Alguém escreveu uma breve pesquisa sobre as várias abordagens estatísticas? Para uma primeira aproximação, você tem estatísticas freqüentistas e bayesianas. Mas quando você olha mais de perto, também tem outras abordagens, como Bayes, verossimilhança e empírica. E então você tem subdivisões dentro de grupos, como o objetivo subjetivo de Bayes …

17 bayesian  frequentist  philosophical 

Enquanto me preparava para uma palestra que darei em breve, recentemente comecei a explorar duas ferramentas principais (gratuitas) para visualização interativa de dados: GGobi e mondrian - ambas oferecem uma grande variedade de recursos (mesmo que sejam um pouco problemáticos). Desejo pedir sua ajuda na articulação (tanto para mim quanto …

17 data-visualization  data-mining  interactive-visualization 

Estou procurando um bom tutorial sobre como agrupar dados Rusando o processo hierárquico de dirichlet (HDP) (um dos métodos bayesianos não paramétricos recentes e populares). Existe DPpackage(IMHO, o mais abrangente de todos os disponíveis) Rpara análise bayesiana não paramétrica. Mas não consigo entender os exemplos fornecidos no R Newsou no …

17 r  bayesian  clustering  nonparametric 

Espero poder fazer esta pergunta da maneira correta. Eu tenho acesso aos dados play-by-play, por isso é mais um problema com a melhor abordagem e a construção correta dos dados. O que pretendo fazer é calcular a probabilidade de ganhar um jogo da NHL, considerando a pontuação e o tempo …

17 time-series  probability  logistic 

fundo Eu tenho uma variável com uma distribuição desconhecida. Eu tenho 500 amostras, mas gostaria de demonstrar a precisão com a qual posso calcular a variação, por exemplo, argumentar que um tamanho de amostra de 500 é suficiente. Também estou interessado em saber o tamanho mínimo da amostra que seria …

17 estimation  random-variable  variance  sampling  sample-size 

Para calibrar um nível de confiança para uma probabilidade de aprendizado supervisionado (digamos, mapear a confiança de um SVM ou de uma árvore de decisão usando dados superamostrados), um método é usar o Escala de Platt (por exemplo, Obtendo Probabilidades Calibradas do Impulso ). Basicamente, utiliza-se regressão logística para mapear …

17 logistic  cross-validation  calibration 

I ter realizado uma análise de componentes principais de seis variáveis , , , , e . Se entendi corretamente, o PC1 não rotacionado me diz qual combinação linear dessas variáveis ​​descreve / explica a maior variação nos dados e o PC2 me diz qual combinação linear dessas variáveis ​​descreve …

17 variance  pca  r-squared  covariance-matrix