Estatísticas e Big Data

Só porque alguns correspondentes fizeram uma pergunta interessante a respeito dos métodos de computação da autocorrelação, comecei a brincar com ela, quase sem nenhum conhecimento sobre séries temporais e autocorrelação. O correspondente organizou seus dados ( pontos de dados de uma série temporal) alterados em um intervalo de tempo cada …

9 time-series  pca 

Quero calcular / avaliar a convolução g(x)=∫Df(x−t)ϕ(t)dt,g(x)=∫Df(x−t)ϕ(t)dt,g(x)=\int_D f(x-t) \phi(t) dt, onde é um densidade e é uma função suave com suporte compacto . A convolução não está disponível em formato fechado e preciso integrá-la numericamente. Minha pergunta é: Existe uma maneira eficiente de fazer isso? Quero implementá-lo em R, portanto, …

9 r  convolution 

Estou ocupado com a modelagem ARIMA aumentada com variáveis ​​exógenas para fins de modelagem promocional e tenho dificuldade em explicá-la aos usuários corporativos. Em alguns casos, os pacotes de software acabam com uma função de transferência simples, ou seja, parâmetro * Variável Exógena. Nesse caso, a interpretação é fácil, ou …

9 time-series  data-visualization  forecasting  arima  causality 

Alguém pode explicar como os procedimentos de FDR são capazes de estimar um FDR sem um modelo / suposição da taxa básica de verdadeiros positivos?

9 false-discovery-rate 

Tenho entradas extremamente esparsas, por exemplo, locais de determinados recursos em uma imagem de entrada. Além disso, cada recurso pode ter várias detecções (não tenho certeza se isso influenciará o design do sistema). Vou apresentar como uma imagem binária do canal k com pixels ON representando a presença desse recurso …

9 neural-networks  deep-learning  sparse 

Preciso implementar a detecção de anomalias em vários conjuntos de dados de séries temporais. Eu nunca fiz isso antes e estava esperando por alguns conselhos. Estou muito confortável com o python, então prefiro que a solução seja implementada (a maior parte do meu código é python para outras partes do …

9 machine-learning  time-series  python  computational-statistics  anomaly-detection 

Atualmente, estou lendo a peça de Pearl (Pearl, 2009, 2ª edição) sobre causalidade e luta para estabelecer o elo entre a identificação não paramétrica de um modelo e a estimativa real. Infelizmente, o próprio Pearl não fala nada sobre esse assunto. Para dar um exemplo, tenho um modelo simples em …

9 estimation  references  causality 

Eu sou bastante novo em estatística (um punhado de cursos Uni de nível iniciante) e estava pensando em amostragem de distribuições desconhecidas. Especificamente, se você não tem idéia da distribuição subjacente, existe alguma maneira de "garantir" que você obtenha uma amostra representativa? Exemplo para ilustrar: digamos que você esteja tentando …

9 distributions  estimation  sampling  sample-size  algorithms 

Eu tenho uma amostra (do tamanho 250) de uma população. Eu não sei a distribuição da população. A principal questão: quero uma estimativa pontual do 1º percentual da população e, em seguida, quero um intervalo de confiança de 95% em torno da minha estimativa pontual. Minha estimativa de pontos será …

9 confidence-interval  bootstrap  quantiles  extreme-value 

Considere o seguinte código R: > data <- data.frame( a=c(NA,2,3,4,5,6),b=c(2.2,NA,6.1,8.3,10.2,12.13),c=c(4.2,7.9,NA,16.1,19.9,23)) > data a b c 1 NA 2.20 4.2 2 2 NA 7.9 3 3 6.10 NA 4 4 8.30 16.1 5 5 10.20 19.9 6 6 12.13 23.0 Como você pode ver, eu projetei os dados para que aproximadamente …

9 r  data-imputation  multiple-imputation 

Fechado . Esta questão é baseada em opiniões . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela possa ser respondida com fatos e citações editando esta postagem . Fechado há 5 anos . Sou recém-formado na minha universidade e meu diploma de …

9 careers 

Como você calcula o apropriado antes se você tem o erro de medição de um instrumento? Este parágrafo é do livro de Cressie "Statistics for Spatio-Temporal Data": Geralmente, algumas informações anteriores estão disponíveis sobre a variação do erro de medição, permitindo que um modelo de parâmetro bastante informativo seja especificado. …

9 bayesian  standard-error  error  prior  measurement-error 

Recebi de outros posts que não se pode atribuir 'importância' ou 'significância' às variáveis ​​preditoras que entram em um modelo de laço, porque calcular os valores p ou os desvios-padrão dessas variáveis ​​ainda é um trabalho em andamento. Sob esse raciocínio, é correto afirmar que não se pode dizer que …

9 statistical-significance  bootstrap  simulation  lasso  regression-strategies 

Abaixo está um gráfico da p. 202 do Dataclysm de Christian Rudder , embora tenha sido produzido por James Dowdell. Ele ilustra os relacionamentos entre os 200 principais subreddits, áreas de interesse no reddit.com, onde os usuários podem enviar links, comentários e votos. São semelhantes às tags deste site. O …

9 clustering  data-visualization 

De "Em toda a probabilidade: modelagem estatística e inferência usando a probabilidade" de Y. Pawitan, a probabilidade de uma parametrização é definida como modo que se g for um a um, então L ^ * (\ psi) = L (g ^ {- 1} (\ psi)) (p. 45). Eu estou tentando …

9 mathematical-statistics  inference  likelihood  fisher-information