Estatísticas e Big Data

Dadas várias dobras de validação cruzada de uma regressão logística e as múltiplas estimativas resultantes de cada coeficiente de regressão, como medir se um preditor (ou conjunto de preditores) é / é estável ou significativo e estável com base no (s) coeficiente (s) de regressão ? Isso é diferente para …

10 regression  model-selection  cross-validation 

Se eu estiver selecionando 232 pessoas de um grupo de 363 pessoas sem substituição, qual é a probabilidade de 2 de uma lista de 12 pessoas específicas estar nessa seleção? Este é um sorteio aleatório para uma corrida ultra, onde havia 363 participantes para 232 vagas. Há uma discussão sobre …

10 combinatorics  randomness  hypergeometric 

Eu quero fazer regressão linear múltipla e, em seguida, prever novos valores com pouca extrapolação. Eu tenho minha variável de resposta no intervalo de -2 a +7 e três preditores (os intervalos de +10 a +200). A distribuição é quase normal. Mas a relação entre a resposta e os preditores …

10 regression  data-transformation 

Estou modelando alguns dados nos quais acho que tenho dois efeitos aleatórios cruzados. Mas o conjunto de dados não é equilibrado e não tenho certeza do que precisa ser feito para justificá-lo. Meus dados são um conjunto de eventos. Um evento ocorre quando um cliente se reúne com um provedor …

10 r  mixed-model  random-effects-model  logistic 

Eu tenho o seguinte modelo linear: Para abordar a heterocedasticidade dos resíduos, tentei aplicar uma transformação de log na variável dependente como mas ainda vejo o mesmo efeito de dispersão nos resíduos. Os valores de DV são relativamente pequenos, portanto a adição constante de +1 antes de fazer o log …

10 regression  data-transformation  linear-model  heteroscedasticity 

É difícil para mim aceitar que Donald Rubin venha a ter uma verdadeira técnica de limão. No entanto, essa é a minha percepção do BESD [ 1 , 2 , 3 ]. O artigo original de Rosenthal e Rubin (1982) afirmou que havia valor em mostrar "como reformular qualquer correlação …

10 interpretation  effect-size 

Quais são as boas estratégias para executar a regressão gaussiana de processos quando a função que estou tentando aproximar das mudanças ao longo do tempo? A abordagem ingênua que me vem à mente é usar apenas os N pontos de dados mais recentes para realizar a regressão. Quais são as …

10 regression  online  gaussian-process 

Por um tempo, pareceu que Fisher Kernels poderia se tornar popular, pois parecia ser uma maneira de construir kernels a partir de modelos probabilísticos. No entanto, raramente os vi sendo usados ​​na prática, e tenho muita autoridade que eles tendem a não funcionar muito bem. Eles contam com o cálculo …

10 machine-learning  probability  kernel-trick  generative-models 

Eu tenho acesso a um conjunto de dados muito grande. Os dados são de gravações do MEG de pessoas ouvindo trechos musicais, de um dos quatro gêneros. Os dados são os seguintes: 6 Sujeitos 3 Repetições experimentais (épocas) 120 tentativas por época 8 segundos de dados por tentativa a 500Hz …

10 machine-learning  feature-selection  large-data  feature-construction 

Estou tentando prever as vendas de produtos na máquina de venda automática. O problema é que a máquina é preenchida em intervalos irregulares e, a cada preenchimento, só podemos registrar as vendas agregadas desde o último preenchimento da máquina (ou seja, não temos dados diários de vendas). Então, basicamente, temos …

10 time-series  forecasting 

Estou com muitos problemas com um conjunto de dados ao qual estou tentando aplicar o SEM. Supomos a existência de 5 fatores latentes A, B, C, D, E, com indicadores resp. A1 a A5 (fatores ordenados), B1 a B3 (quantitativo), C1, D1, E1 (todos os três últimos fatores ordenados, com …

10 r  modeling  multiple-regression  sem 

Basicamente, existem duas maneiras comuns de aprender com grandes conjuntos de dados (quando você se depara com restrições de tempo / espaço): Trapaça :) - use apenas um subconjunto "gerenciável" para treinamento. A perda de precisão pode ser insignificante por causa da lei dos retornos decrescentes - o desempenho preditivo …

10 machine-learning  large-data  model-evaluation  train 

Um problema comum é que o ML é de baixa qualidade dos dados: erros nos valores dos recursos, instâncias classificadas incorretamente, etc. Uma maneira de resolver esse problema é passar manualmente pelos dados e verificar, mas existem outras técnicas? (Aposto que existem!) Quais são os melhores e por quê?

10 data-cleaning 

Uma técnica de processamento de sinal, o Mel frequency Cepstrum , é freqüentemente usada para extrair informações de uma peça musical para uso em tarefas de aprendizado de máquina. Este método fornece um espectro de potência de curto prazo, e os coeficientes são usados ​​como entrada. Ao projetar sistemas de …

10 machine-learning  classification  signal-processing  mfcc 

Considere o seguinte código R: example <- function(n) { X <- 1:n Y <- rep(1,n) return(lm(Y~X)) } #(2.13.0, i386-pc-mingw32) summary(example(7)) #R^2 = .1963 summary(example(62)) #R^2 = .4529 summary(example(4540)) #R^2 = .7832 summary(example(104))) #R^2 = 0 #I did a search for n 6:10000, the result for R^2 is NaN for #n …

10 r  regression