Estatísticas e Big Data

Suponhamos que tem uma conjunto de dados -dimensional onde os dimensões são aproximadamente ortogonal (ter correlação zero).NNNNNN Existe alguma utilidade em termos de: Visualização Representação (para eficiência do classificador) Ou outros critérios executar redução de dimensionalidade nos dados?

11 pca  dimensionality-reduction 

Na verdade, estou hesitando em perguntar isso, porque temo ser encaminhado para outras perguntas ou para a Wikipedia sobre amostras de Gibbs, mas não tenho a sensação de que eles descrevam o que está em mãos. Dada uma probabilidade condicional : p ( x | y ) y = y …

11 sampling  mcmc  gibbs 

Eu estava olhando para uma pesquisa do Washington Times / ABC, e a repartição dos resultados, principalmente por idade, me pareceu surpreendente. Então fui procurar preconceitos. Ele disse: "a pesquisa foi realizada por telefone, de 11 a 14 de dezembro de 2014, entre uma amostra aleatória de 1.000 adultos. As …

11 polling  politics 

Criei um histograma para Respondent Age e consegui obter uma curva em forma de sino muito agradável, a partir da qual concluí que a distribuição é normal. Depois, executei o teste de normalidade no SPSS, com n = 169. O valor p (Sig.) Do teste de Kolmogorov-Smirnov é inferior a …

11 normality-assumption  kolmogorov-smirnov  histogram  eda 

Eu tenho dois conjuntos de dados: Meu primeiro conjunto de dados é o valor de um investimento (em bilhões de dólares) contra o tempo, cada unidade sendo um quarto desde o primeiro trimestre de 1947. O tempo se estende para o terceiro trimestre de 2002. Meu segundo conjunto de dados …

11 r  self-study  data-visualization  autocorrelation 

Os estudos de eventos são difundidos em economia e finanças para determinar o efeito de um evento no preço das ações, mas quase sempre são baseados no raciocínio freqüentista. Uma regressão OLS - durante um período de referência distinto da janela de eventos - é geralmente usada para determinar os …

11 bayesian  econometrics  finance 

Ao ler o livro All of Statistics, de Wassermann, noto uma sutileza na definição de valores-p, da qual não consigo entender. Informalmente, o Wassermann define o valor-p como [..] a probabilidade (em H0H0H_0 ) de observar um valor da estatística de teste igual ou mais extremo do que o que …

11 hypothesis-testing  chi-squared  p-value 

Estou tentando resolver o exercício a seguir, mas na verdade não tenho idéia de como começar a fazer isso. Encontrei um código no meu livro que parece com isso, mas é um exercício completamente diferente e não sei como relacioná-lo um com o outro. Como posso começar a simular chegadas …

11 r  monte-carlo  queueing 

Imagino que controlar uma variável em seu desenho de estudo seja mais eficaz na redução de erros do que controlar post-hoc em seu modelo de regressão. Alguém se importaria de explicar formalmente como essas duas instâncias de "controle" diferem? Quão comparativamente eficazes eles são na redução de erros e na …

11 regression  experiment-design  controlling-for-a-variable 

alguém pode fornecer uma intuição sobre por que os momentos mais altos de uma distribuição de probabilidade p(x)como o terceiro e o quarto momentos correspondem à assimetria e curtose, respectivamente? especificamente, por que o desvio da média aumentada para a 3ª ou a 4ª potência acaba se traduzindo em uma …

11 mathematical-statistics  skewness  moments  intuition  kurtosis 

Estou desenvolvendo um aplicativo de previsão cujo objetivo é permitir que um importador preveja a demanda por seus produtos de sua rede de distribuidores de clientes. Os números de vendas são um bom proxy para a demanda, desde que haja estoque adequado para atender à demanda. Porém, quando o estoque …

11 r  regression  machine-learning  censoring 

Estou tentando automatizar a detecção de outlier em séries temporais e usei uma modificação da solução proposta por Rob Hyndman aqui . Digamos, eu avalio as visitas diárias a um site de vários países. Para alguns países onde as visitas diárias são de algumas centenas ou milhares, meu método parece …

11 time-series  outliers  computational-statistics 

Por que os geradores de números aleatórios, como runif()em R, não geram o mesmo resultado todas as vezes? Por exemplo: X <- runif(100) X está gerando saídas diferentes a cada vez. Qual é o motivo para gerar resultados diferentes a cada vez? Que funcionalidades existem em segundo plano para fazer …

11 r  algorithms  random-generation  uniform 

Problema a seguir: desejo prever uma variável de resposta categórica com uma (ou mais) variáveis ​​categóricas usando glmnet (). No entanto, não consigo entender a saída que o glmnet me fornece. Ok, primeiro vamos gerar duas variáveis ​​categóricas relacionadas: Gerar dados p <- 2 #number variables mu <- rep(0,p) sigma …

11 categorical-data  multinomial  glmnet 

Estou tentando executar uma regressão de laço, que tem a seguinte forma: Minimizar em( Y - X w ) ′ ( Y - X w ) + λwww(Y−Xw)′(Y−Xw)+λ|w|1(Y−Xw)′(Y−Xw)+λ|w|1(Y - Xw)'(Y - Xw) + \lambda \;|w|_1 Dado a , fui aconselhado a encontrar o ideal com a ajuda da programação quadrática, …

11 regression  lasso  quadratic-form