Estatísticas e Big Data

Estou procurando algumas técnicas robustas para remover discrepâncias e erros (seja qual for a causa) dos dados financeiros das séries temporais (por exemplo, tickdata). Os dados das séries temporais financeiras de tick-by-tick são muito confusos. Ele contém grandes lacunas (de tempo) quando a bolsa é fechada e faz grandes saltos …

16 time-series  outliers 

Não sou estatístico, mas estou muito interessado em estatística e gostaria de comprar um livro para manter como referência. Tenho alguns livros sobre assuntos específicos (como Os elementos do aprendizado estatístico para aprendizado de máquina ou Análise de dados bayesiana para ... bem, Análise de dados bayesiana :) Eu também …

16 references 

Não entendo qual é exatamente a diferença entre a previsão "dentro da amostra" e "fora da amostra"? Uma previsão dentro da amostra utiliza um subconjunto dos dados disponíveis para prever valores fora do período de estimativa. Uma previsão fora da amostra usa todos os dados disponíveis. Estão corretos ? Muito …

16 forecasting 

Eu entendo P(A∩B)/P(B)=P(A|B)P(A∩B)/P(B)=P(A|B)P(A\cap B)/P(B) = P(A|B) . A condicional é a interseção de A e B dividida por toda a área de B. Mas por que P(A∩B|C)/P(B|C)=P(A|B∩C)P(A∩B|C)/P(B|C)=P(A|B∩C)P(A\cap B|C)/P(B|C) = P(A|B \cap C) ? Você pode dar alguma intuição? Não deveria ser: P(A∩B∩C)/P(B,C)=P(A|B∩C)P(A∩B∩C)/P(B,C)=P(A|B∩C)P(A\cap B \cap C)/P(B,C) = P(A|B \cap C) ?

16 probability  conditional-probability 

Minhas variáveis ​​de entrada têm dimensões diferentes. Algumas variáveis ​​são decimais, enquanto outras são centenas. É essencial centralizar (subtrair média) ou escalar (dividir por desvio padrão) essas variáveis ​​de entrada para tornar os dados sem dimensão ao usar floresta aleatória?

16 random-forest  standardization  data-preprocessing  centering 

No meu estudo, medirei a carga de trabalho com várias métricas. Com variabilidade da frequência cardíaca (VFC), atividade eletrodérmica (EDA) e com uma escala subjetiva (IWS). Após a normalização, o IWS possui três valores: Carga de trabalho menor que o normal Carga de trabalho é média A carga de trabalho …

16 r  logistic  lme4-nlme  ordered-logit  polr 

Gostaria de saber se existe alguma relação entre essas três medidas. Parece que não consigo estabelecer uma conexão entre eles, consultando as definições (possivelmente porque sou novo nessas definições e estou tendo um tempo difícil para compreendê-las). Eu sei que o intervalo da semelhança do cosseno pode ser de 0 …

16 correlation  z-score  cosine-similarity 

Estou aprendendo sobre splines do livro "Os elementos de mineração, inferência e previsão de dados estatísticos de aprendizagem", de Hastie et al. Eu descobri na página 145 que splines cúbicos naturais são lineares além dos nós dos limites. Existem , nos splines e o seguinte é fornecido sobre esse spline …

16 regression  degrees-of-freedom  splines  constraint  cubic 

O que o número de filtros em uma camada de convolução transmite? Como esse número afeta o desempenho ou a qualidade da arquitetura? Quero dizer, devemos sempre optar por um número maior de filtros? o que é bom deles? e Como as pessoas atribuem diferentes números de filtros para diferentes …

16 deep-learning  conv-neural-network 

Existem convenções meramente estilísticas (em itálico ou não em itálico) ou existem diferenças substanciais no significado dessas notações? Existem outras notações que significam " a probabilidade de " que devem ser consideradas nesta questão?

16 probability  notation 

Nos modelos lineares, precisamos verificar se existe um relacionamento entre as variáveis ​​explicativas. Se eles se correlacionam demais, há colinearidade (ou seja, as variáveis ​​se explicam parcialmente). Atualmente, estou apenas olhando para a correlação pareada entre cada uma das variáveis ​​explicativas. Pergunta 1: O que classifica como muita correlação? Por …

16 correlation  linear-model  multicollinearity 

Várias descrições na seleção de modelos sobre efeitos aleatórios de Modelos Mistos Lineares instruem a usar REML. Conheço a diferença entre REML e ML em algum nível, mas não entendo por que REML deve ser usado porque ML é tendencioso. Por exemplo, é errado realizar um LRT em um parâmetro …

16 mixed-model  maximum-likelihood  unbiased-estimator  likelihood-ratio  reml 

Eu conheço três métodos para fazer estimativa de parâmetros, ML, MAP e Bayes. E para a abordagem MAP e Bayes, precisamos escolher os anteriores para os parâmetros, certo? Digamos que eu tenho esse modelo , no qual são parâmetros, para fazer a estimativa usando MAP ou Bayes, li no livro …

16 bayesian  estimation  prior 

Alguém pode explicar a função de autocorrelação em dados de séries temporais? Aplicando acf aos dados, qual seria o aplicativo?

16 autocorrelation 

O que seria um número mínimo "razoável" de observações para procurar uma tendência ao longo do tempo com uma regressão linear? que tal ajustar um modelo quadrático? Trabalho com índices compostos de desigualdade em saúde (SII, RII) e tenho apenas 4 vagas da pesquisa, portanto, 4 pontos (1997,2001,2004,2008). Não sou …

16 regression