Estatísticas e Big Data

Em R, eu uso a ldafunção da biblioteca MASSpara fazer a classificação. Pelo que entendi LDA, a entrada xxx receberá o rótulo yyy , que maximiza p(y|x)p(y|x)p(y|x) , certo? Mas quando ajustar o modelo, no qual x=(Lag1,Lag2)x=(Lag1,Lag2)x=(Lag1,Lag2)y=Direction,y=Direction,y=Direction, eu não bastante compreender a saída lda, Editar: para reproduzir a saída abaixo, …

16 r  discriminant-analysis  inference 

Quais são os requisitos de estacionariedade do uso de regressão com erros ARIMA (regressão dinâmica) para inferência? Especificamente, eu tenho uma variável de resultado contínuo não estacionária , uma variável preditora contínua não estacionária x a e uma série fictícia de tratamento variável x b . Gostaria de saber se …

16 regression  time-series  arima  stationarity 

Ainda sou muito novo em modelos lineares generalizados e luto com muita notação na maioria dos textos GLM que peguei. Existem livros GLM extremamente populares que se prestam melhor à legibilidade?

16 regression  generalized-linear-model  references 

Atualmente, leio o artigo Efficient Online e Batch Learning usando a divisão forward-backward de John Duchi e Yoram Singer. Estou muito confuso sobre o uso dos termos 'Online' e 'Lote'. Pensei 'Online' significa que atualizamos os parâmetros de peso após o processamento de uma unidade dos dados de treinamento. Em …

16 machine-learning  online  gradient-descent 

Não estou acostumado a usar variáveis ​​no formato de data em R. Estou apenas imaginando se é possível adicionar uma variável de data como uma variável explicativa em um modelo de regressão linear. Se for possível, como podemos interpretar o coeficiente? É o efeito de um dia na variável resultado? …

16 r  regression  time-series 

Eu preciso encontrar o mínimo de uma função. Lendo os documentos em http://docs.scipy.org/doc/scipy/reference/optimize.html Vejo que existem vários algoritmos que fazem a mesma coisa, ou seja, encontram o mínimo. Como sei qual devo escolher? alguns dos algoritmos listados Minimize uma função usando o algoritmo simplex em declive. Minimize uma função usando …

16 optimization 

Digamos que eu tenha uma regressão multivariável (várias variáveis ​​independentes) que consiste em 3 variáveis. Cada uma dessas variáveis ​​possui um dado coeficiente. Se eu decidir introduzir uma quarta variável e executar novamente a regressão, os coeficientes das três variáveis ​​originais serão alterados? Mais amplamente: em uma regressão multivariável (múltiplas …

16 regression  multiple-regression  multivariable 

Estou tentando aprender estatística porque acho que ela é tão prevalente que me proíbe de aprender algumas coisas, se não entendi direito. Estou tendo problemas para entender essa noção de distribuição amostral dos meios amostrais. Não consigo entender como alguns livros e sites explicaram isso. Acho que tenho um entendimento, …

16 distributions  normal-distribution  sampling  normality-assumption 

Estou impressionado com o forecastpacote R , bem como, por exemplo, o zoopacote para séries temporais irregulares e interpolação de valores ausentes. Meu aplicativo é na área de previsão de tráfego de call center; portanto, os dados nos finais de semana estão (quase) sempre ausentes, o que pode ser bem …

16 r  time-series  forecasting  missing-data  unevenly-spaced-time-series 

Acabei de assistir novamente a uma palestra do curso Machine Learning no Coursera. Na seção em que o professor discute o PCA para pré-processamento de dados em aplicativos de aprendizado supervisionado, ele diz que o PCA deve ser executado apenas nos dados de treinamento e, em seguida, o mapeamento é …

16 r  pca  cross-validation  caret 

Eu sempre vi o conselho para verificar se um ajuste do modelo de Poisson está ou não disperso em excesso, envolvendo a divisão do desvio residual pelos graus de liberdade. A proporção resultante deve ser "aproximadamente 1". A questão é de qual faixa estamos falando para "aproximado" - qual é …

16 poisson-distribution  negative-binomial  poisson-regression  overdispersion 

Versão curta: Eu tenho uma série temporal de dados climáticos que estou testando quanto à estacionariedade. Com base em pesquisas anteriores, espero que o modelo subjacente (ou "gerador", por assim dizer) dos dados tenha um termo de interceptação e uma tendência temporal linear positiva. Para testar esses dados quanto à …

16 time-series  stationarity  unit-root  augmented-dickey-fuller 

Como você testaria ou verificaria se a amostragem é IID (independente e identicamente distribuída)? Note que eu não quero dizer Gaussiano e Distribuído Identicamente, apenas IID. E a ideia que me vem à mente é dividir repetidamente a amostra em duas subamostras de tamanho igual, realizar o teste de Kolmogorov-Smirnov …

16 hypothesis-testing  independence  kolmogorov-smirnov  resampling  iid 

Simulação de novo de dados a partir de um quadro de dados de projeto experimental. Com foco em R (embora outra solução de idioma seja ótima). Ao projetar um experimento ou uma pesquisa, a simulação de dados e a realização de uma análise desses dados simulados podem fornecer informações excelentes …

16 r  experiment-design  simulation 

Os dados de normalização (com média zero e desvio padrão da unidade) antes de executar uma validação cruzada repetida em dobra k tem conquistas negativas, como ajuste excessivo? Nota: isto é para uma situação em que #cases> total #features Estou transformando alguns dos meus dados usando uma transformação de log …

16 cross-validation  normalization