Estatísticas e Big Data

Costumo ouvir sobre a avaliação do desempenho de um modelo de classificação, mantendo o conjunto de testes e treinando um modelo no conjunto de treinamento. Em seguida, crie 2 vetores, um para os valores previstos e outro para os valores verdadeiros. Obviamente, fazer uma comparação permite julgar o desempenho do …

10 regression  machine-learning  model-evaluation 

Ouvi falar um pouco sobre o uso de redes neurais para prever séries temporais. Como posso comparar, qual método para prever minhas séries temporais (dados diários de varejo) é melhor: auto.arima (x), ets (x) ou nnetar (x). Eu posso comparar auto.arima com ets por AIC ou BIC. Mas como posso …

10 r  neural-networks  forecasting  arima  exponential-smoothing 

Conheço duas abordagens para fazer LDA, a abordagem bayesiana e a abordagem de Fisher . Suponha que tenhamos os dados , onde é o preditor dimensional e é a variável dependente de classes.x p y K(x,y)(x,y)(x,y)xxxpppyyyKKK Pela abordagem bayesiana , calculamos o posterior e como Como dito nos livros, suponha …

10 discriminant-analysis 

Percebo por que você pode não usar um método mais poderoso, como o método de Hochberg, sobre a correção de Bonferroni, pois eles podem ter suposições extras, como a independência de hipóteses nesse caso, mas não entendo por que você usaria jamais use a correção de Bonferroni sobre a modificação …

10 hypothesis-testing  bonferroni 

Estou tentando comparar dados de 2 populações para saber se a diferença entre os tratamentos é estatisticamente significativa. Os conjuntos de dados parecem ser normalmente distribuídos com muito pouca diferença entre os dois conjuntos. A diferença média é 0,00017. Realizei um teste t emparelhado, esperando não rejeitar a hipótese nula …

10 statistical-significance  t-test  paired-data 

Estou fazendo minha dissertação e estou realizando uma série de testes. Depois de usar um teste de Kruskal – Wallis, geralmente relato o resultado desta forma: Existe uma diferença significativa (χ2(2)=7.448,p=.024)(χ(2)2=7.448,p=.024)(\chi^2_{(2)}=7.448, p=.024) entre as médias de ... Mas agora realizei um teste de Mann-Whitney e não tenho certeza de quais …

10 wilcoxon-mann-whitney  reporting 

Em um conjunto de problemas, provei esse "lema", cujo resultado não é intuitivo para mim. é uma distribuição normal padrão em um modelo censurado.ZZZ Formalmente, , e Z = m um x ( Z * , c ) . Então, E [ Z | Z > c ]Z∗∼ Nou r …

10 normal-distribution  pdf  intuition 

Quando as notícias falam sobre coisas que foram 'provadas estatisticamente', elas estão usando um conceito bem definido de estatística corretamente, usando errado ou apenas usando um oxímoro? Imagino que uma "prova estatística" não seja realmente algo realizado para provar uma hipótese, nem uma prova matemática, mas mais um "teste estatístico".

10 inference  proof 

Atravesse a postar minha pergunta de mathoverflow para encontrar algumas estatísticas ajuda específica. Estou estudando um processo físico que gera dados que se projetam bem em duas dimensões com valores não negativos. Cada processo possui uma faixa (projetada) de pontos - - veja a imagem abaixo.xxxyyy As trilhas de amostra …

10 distributions  modeling  predictive-models  fitting  curve-fitting 

Sou relativamente novo em estatísticas bayesianas e tenho usado recentemente o JAGS para criar modelos bayesianos hierárquicos em diferentes conjuntos de dados. Embora eu esteja muito satisfeito com os resultados (comparado aos modelos padrão de GLM), preciso explicar aos não estatísticos qual é a diferença com os modelos estatísticos padrão. …

10 bayesian  hierarchical-bayesian 

Eu sou muito novo na análise de cluster. Eu estou usando R para k-significa cluster e me pergunto o que são essas coisas. E o que é melhor se a proporção for menor ou maior?

10 clustering 

Suponha que eu tenha respostas bivariadas com correlação significativa. Estou tentando comparar as duas maneiras de modelar esses resultados. Uma maneira é modelar a diferença entre os dois resultados: Outra maneira é usar ou modelá-los: ( y i j = β 0 + tempo + X ′ β )( yeu …

10 r  regression  model-selection 

Suponha um teste t de uma amostra, em que a hipótese nula é . A estatística é então usando o desvio padrão da amostra . Na estimativa de s , compara-se as observações com a média da amostra ¯ x :μ=μ0μ=μ0 0\mu=\mu_0 st=x¯¯¯−μ0s/n√t=x¯-μ0 0s/nt=\frac{\overline{x}-\mu_0}{s/\sqrt{n}}ssssssx¯¯¯x¯\overline{x} .s=1n−1∑ni=1(xi−x¯¯¯)2−−−−−−−−−−−−−−−√s=1n−1∑i=1n(xi−x¯)2s=\sqrt{\frac{1}{n-1}\sum_{i=1}^n (x_i-\overline{x})^2} No entanto, se assumirmos …

10 mathematical-statistics  variance  t-test 

Existem razões para não rodar uma solução de análise fatorial exploratória? É fácil encontrar discussões comparando soluções ortogonais com soluções oblíquas e acho que entendo completamente tudo isso. Além disso, pelo que pude encontrar nos livros didáticos, os autores geralmente explicam os métodos de estimativa da análise fatorial e explicam …

10 factor-analysis  factor-rotation 

Eu sou novo na análise de sobrevivência e aprendi recentemente que existem diferentes maneiras de fazer isso, com um determinado objetivo. Estou interessado na implementação real e na adequação desses métodos. Fui apresentado aos tradicionais Riscos Proporcionais de Cox , modelos de tempos de falha acelerados e redes neurais (perceptron …

10 r  machine-learning  survival  neural-networks  cox-model