Estatísticas e Big Data

Para a seleção de preditores na regressão linear multivariada com preditores adequados, quais métodos estão disponíveis para encontrar um subconjunto 'ótimo' dos preditores sem testar explicitamente todos os subconjuntos 2 p ? Em 'Applied Survival Analysis', Hosmer & Lemeshow fazem referência ao método de Kuk, mas não consigo encontrar o …

9 modeling  regression  multivariable  model-selection  feature-selection 

por exemplo. se eu tiver uma pontuação de crédito variável de classe com duas classes boa e ruim, em que # (bom) = 700 e # (ruim) = 300. Não quero reduzir meus dados. qual técnica devo usar? Eu estava usando SVM, mas está dando tudo de bom em previsões.

9 classification  binary-data 

Ao executar a regressão linear, geralmente é útil fazer uma transformação como a transformação logarítmica da variável dependente para obter uma melhor conformação da distribuição normal. Muitas vezes, também é útil inspecionar os beta's da regressão para avaliar melhor o tamanho do efeito / relevância real dos resultados. Isso levanta …

9 regression  data-transformation  effect-size 

Apesar de várias tentativas de ler sobre o bootstrap, pareço sempre bater em uma parede de tijolos. Gostaria de saber se alguém pode dar uma definição razoavelmente não técnica de bootstrapping? Sei que não é possível neste fórum fornecer detalhes suficientes para que eu possa entendê-lo completamente, mas um empurrão …

9 nonparametric  bootstrap  intuition 

Estou tentando criar um modelo de previsão de regressão de séries temporais para uma variável de resultado, em valor em dólares, em termos de outros preditores / variáveis ​​de entrada e erros correlacionados automaticamente. Esse tipo de modelo também é chamado de modelo de regressão dinâmica. Preciso aprender a identificar …

9 time-series  forecasting  dynamic-regression 

Qual é a diferença entre ter algo estatisticamente significativo (como uma diferença entre duas amostras) e declarar se um grupo de números é independente ou dependente.

9 statistical-significance  independence 

Eu tenho duas implementações de um algoritmo genético que devem se comportar de forma equivalente. No entanto, devido a restrições técnicas que não podem ser resolvidas, sua saída não é exatamente a mesma, dada a mesma entrada. Ainda assim, gostaria de mostrar que não há diferença significativa de desempenho. Eu …

9 hypothesis-testing  genetic-algorithms 

Saudações, Atualmente, estou fazendo o seguinte em R: require(zoo) data <- read.csv(file="summary.csv",sep=",",head=TRUE) cum = zoo(data$dcomp, as.Date(data$date)) data = zoo(data$compressed, as.Date(data$date)) data <- aggregate(data, identity, tail, 1) cum <- aggregate(cum, identity, sum, 1) days = seq(start(data), end(data), "day") data2 = na.locf(merge(data, zoo(,days))) plot(data2,xlab='',ylab='compressed bytes',col=rgb(0.18,0.34,0.55)) lines(cum,type="h",col=rgb(0,0.5,0)) Recorte de summary.csv: date,revision,file,lines,nclass,nattr,nrel,bytes,compressed,diff,dcomp 2007-07-25,16,model.xml,96,11,22,5,4035,991,0,0 2007-07-27,17,model.xml,115,16,26,6,4740,1056,53,777 …

9 r  time-series  data-visualization  entropy 

Eu tenho um modelo de regressão linear com a amostra e as observações variáveis ​​e quero saber: Se uma variável específica é significativa o suficiente para permanecer incluída no modelo. Se outra variável (com observações) deve ser incluída no modelo. Quais estatísticas podem me ajudar? Como obtê-los com mais eficiência?

9 regression 

Eu tenho um detector que irá detectar um evento com alguma probabilidade p . Se o detector diz que ocorreu um evento, esse é sempre o caso, portanto, não há falsos positivos. Depois de executá-lo por algum tempo, recebo k eventos detectados. Gostaria de calcular qual foi o número total …

9 probability  confidence-interval 

Qual a diferença entre pesquisa operacional e análise estatística?

9 operations-research 

Estou com dificuldades para selecionar a maneira correta de visualizar dados. Digamos que temos livrarias que vendem livros , e todo livro tem pelo menos uma categoria . Para uma livraria, se contarmos todas as categorias de livros, adquirimos um histograma que mostra o número de livros que se enquadram …

9 pca  data-visualization  histogram  barplot 

Simplificando um pouco, tenho cerca de um milhão de registros que registram o tempo de entrada e saída das pessoas em um sistema que dura cerca de dez anos. Todo registro tem um horário de entrada, mas nem todo registro tem um horário de saída. O tempo médio no sistema …

9 survival  missing-data 

Em uma resposta a essa pergunta sobre o tratamento de dados categóricos como contínuos , a escala ideal foi mencionada. Como esse método funciona e como é aplicado?

9 categorical-data  data-transformation  optimal-scaling 

Ouvi dizer que muitas quantidades que ocorrem na natureza são normalmente distribuídas. Isso normalmente é justificado usando o teorema do limite central, que diz que, quando você calcula a média de um grande número de variáveis ​​aleatórias de iid, obtém uma distribuição normal. Assim, por exemplo, uma característica que é …

9 data-transformation  normality-assumption