Estatísticas e Big Data

No curso de aprendizado de máquina de Stanford, Andrew Ng mencionou a aplicação de ML em TI. Algum tempo depois, quando obtive DDoS de tamanho moderado (cerca de 20k bots) em nosso site, decidi lutar contra ele usando um classificador simples da Rede Neural. Eu escrevi esse script python em …

12 classification  neural-networks  unsupervised-learning 

Estou procurando um programa (em R ou SAS ou autônomo, se gratuito ou de baixo custo) que faça análise de energia para regressão logística ordinal.

12 logistic  power-analysis  ordered-logit 

O que é expresso pelos termos zerot, primeiro, segundo, terceiro, etc. ordem de correlação? Obrigado!

12 correlation 

Eu tenho 2 questões gerais / mais teóricas. 1) Estou curioso para saber como os SVMs lidam com interações variáveis ​​ao criar modelos preditivos. Por exemplo, se eu tenho dois recursos f1 e f2 e o destino depende de f1, f2 e digamos f1 * f2 (ou alguma função h …

12 machine-learning  predictive-models  svm  interaction 

A pergunta de ontem Determinar a precisão do modelo que estima a probabilidade de evento me deixou curioso sobre a pontuação de probabilidade. A pontuação Brier é uma medida de erro médio quadrático. O análogo significa a medida do desempenho do erro absoluto11N∑i = 1N( p r e di c …

12 classification  error  validation  scoring-rules  brier-score 

Estou modelando um evento com dois resultados, a e b. Eu criei um modelo que estima a probabilidade de que a ou b aconteça (ou seja, o modelo calculará que a acontecerá com 40% de chance eb acontecerá com 60% de chance). Eu tenho um grande registro de resultados de …

12 predictive-models  scoring-rules 

Alguém pode me dizer como fazer modelagem de recência, frequência e valor monetário (RFM) e modelagem de valor para cliente em R? Além disso, alguém pode me indicar alguma literatura sobre isso?

12 r  references  marketing 

Quais são os melhores métodos para ajustar o 'modo' de dados amostrados de uma distribuição contínua? Como o modo é tecnicamente indefinido (certo?) Para uma distribuição contínua, estou realmente perguntando 'como você encontra o valor mais comum'? Se você presumir que a distribuição pai é gaussiana, poderá bin os dados …

12 distributions  fitting  mode 

Qual é a melhor função de custo para uma árvore de floresta aleatória: índice de Gini ou entropia? Estou tentando implementar uma floresta aleatória no Clojure.

12 classification  random-forest  cart 

Se desejamos realizar um teste t emparelhado, o requisito é (se bem entendi) que a diferença média entre as unidades de medida correspondentes seja distribuída normalmente. No teste t pareado, isso é articulado (AFAIK) na demanda de que a diferença entre as unidades de medida combinadas seja distribuída normalmente (mesmo …

12 t-test  normality-assumption  assumptions 

Recentemente, fiz um curso introdutório sobre modelagem multinível. A maioria dos conjuntos de dados e exemplos que usamos foram das ciências sociais. Acabei de fazer um estágio de duas semanas em um departamento de bioestatística, onde eles querem que eu inicie um projeto referente à variação no nível hospitalar dos …

12 r  stata  multilevel-analysis  epidemiology 

Normalmente, quando se encontram medidas de resultado contínuas, mas distorcidas, em um design longitudinal (digamos, com um efeito entre sujeitos), a abordagem comum é transformar o resultado em normalidade. Se a situação for extrema, como em observações truncadas, pode-se ter uma ideia e usar um modelo de curva de crescimento …

12 repeated-measures  data-transformation  skewness 

Se o Hosmer-Lemeshow indicar uma falta de ajuste, mas o AIC for o mais baixo entre todos os modelos ... você ainda deve usar o modelo? Se eu excluir uma variável, a estatística Hosmer-Lemeshow não é significativa (o que significa que não há falta grave de ajuste). Mas a AIC …

12 regression  logistic  hosmer-lemeshow-test 

Existe um análogo ao momento mais alto das desigualdades de Chebyshev no caso unilateral? A desigualdade de Chebyshev-Cantelli parece funcionar apenas para a variação, enquanto a desigualdade de Chebyshev pode facilmente ser produzida para todos os expoentes. Alguém sabe de uma desigualdade unilateral nos momentos mais altos?

12 approximation  moments  probability-inequalities 

Por exemplo. como os desta página http://store.steampowered.com/hwsurvey Existe algum software pronto que possa fazer isso? Como alternativa, alguma recomendação para outro software que faça algo semelhante? Sei que essa não é realmente uma questão estatística, mas sinto muito fortemente que os dados devem ser apresentados de maneira organizada e atraente …

12 data-visualization  interactive-visualization