Estatísticas e Big Data

Dê uma olhada na imagem abaixo. A linha azul indica o pdf normal padrão. Supõe-se que a zona vermelha seja igual à soma das áreas cinzentas (desculpe pelo desenho horrível). Será que podemos criar uma nova distribuição com pico mais alto deslocando as zonas cinzas para o topo (zona vermelha) …

8 mathematical-statistics  kurtosis 

Estou realizando regressões quantílicas em R usando o pacote quantreg. Meu conjunto de dados inclui 12.328 observações, variando de 0,12 a 330. Os pontos no tempo para meus dados não são exatamente contínuos; todos os dados se enquadram em uma das dezenas de posições que variam de 73 a 397. …

8 r  regression 

Estou tentando criar um modelo usando regressão binomial negativa (GLM binomial negativo). Eu tenho um tamanho de amostra relativamente pequeno (maior que 300) e os dados não são redimensionados. Percebi que existem duas maneiras de medir a qualidade do ajuste - uma é desvio e a outra é a estatística …

8 regression  generalized-linear-model  chi-squared  deviance 

Estou com problemas para entender o conceito e a derivação da probabilidade de dados truncados. Por exemplo, se eu quiser encontrar a função de probabilidade com base em uma amostra de uma distribuição, mas ao retirar uma amostra da distribuição, observo os valores truncados (onde há um corte de , …

8 dataset  likelihood 

Estou executando um CFA e obtendo bons índices de ajuste (CFI = .99, RMSEA = .01) para uma escala unidimensional. No entanto, quando testo a consistência interna, fico com s de Cronbach ( ). Eu tentei de tudo, desde remover discrepâncias até descartar itens e ainda acabar com o mesmo …

8 sem  reliability  psychometrics  confirmatory-factor  cronbachs-alpha 

O teste de Shapiro Wilk é insensível à cauda da distribuição das amostras? Eu li essa declaração em um artigo, mas não consigo descobrir por que, a partir da estatística de teste W. Alguém poderia me ajudar a entender isso?

8 goodness-of-fit 

Em uma implementação do MCMC de modelos hierárquicos, com efeitos aleatórios normais e um Wishart anterior para sua matriz de covariância, a amostragem de Gibbs é normalmente usada. No entanto, se alterarmos a distribuição dos efeitos aleatórios (por exemplo, para Student-t ou outro), a conjugação será perdida. Nesse caso, qual …

8 mcmc  hierarchical-bayesian  metropolis-hastings 

Estou tentando projetar uma técnica de fatoração matricial para um sistema simples de recomendação de itens de usuário. Eu tenho 2 perguntas sobre isso. Primeiro, em uma implementação simples que vi da técnica de fatoração matricial para recomendação de filme, o autor acabou de inicializar as dimensões dos recursos latentes, …

8 recommender-system  matrix-decomposition  parameterization  ensemble 

Eu construí um modelo de regressão logística em R e, embora o resultado pareça ser satisfatório até certo ponto, há uma pergunta que não consigo resolver. Não tenho certeza se minha abordagem está correta. Eu sei que o objetivo geral do modelo logístico é prever a probabilidade de sucesso de …

8 probability  distributions  logistic  binomial 

Gostaria de encontrar os limites mínimo / máximo de uma janela deslizante de tamanho mínimo que contém uma certa fração do número total de elementos em uma matriz ou coleção de números. Exemplo: usando números inteiros para facilitar a explicação, digamos que a proporção de elementos que procuramos seja de …

8 python  descriptive-statistics  shortest-half 

Entendo como a melhor divisão é escolhida para floresta aleatória para preditores numéricos (recursos). Os preditores numéricos são classificados para cada valor calculado como impureza ou entropia de Gini e é escolhido um limite que fornece a melhor divisão. Mas qual a melhor divisão escolhida para o preditor categórico, pois …

8 machine-learning  random-forest 

A fórmula para em um teste de hipótese é dada por: t = ˉ X - μtttt = X¯- μσ^/ n--√.t=X¯−μσ^/n. t=\frac{\bar{X}-\mu}{\hat \sigma/\sqrt{n}}. Quando aumenta, o valor aumenta de acordo com a fórmula acima. Mas por que o valor crítico diminui na tabela medida que (que é uma função de …

8 hypothesis-testing  self-study  statistical-significance  t-test  t-distribution 

Embora o título da pergunta pareça trivial, gostaria de explicar que não é tão trivial no sentido de que é diferente da questão de aplicar o mesmo teste estatístico em conjuntos de dados semelhantes para testar contra uma hipótese nula total (meta-análise, por exemplo, usando o método de Fisher para …

8 hypothesis-testing  probability  statistical-significance  multiple-comparisons  p-value 

Estou tentando fazer o SVM de uma classe em R. Eu tenho tentado usar o pacote e1071 / ksvm kernlab. Mas não tenho certeza se estou fazendo isso corretamente. Existe algum exemplo de trabalho para SVM de uma classe em R? Além disso, Estou dando uma grande matriz de preditores …

8 r  svm 

Para dados longitudinais com resultado numérico, posso usar gráficos de espaguete para visualizar os dados. Por exemplo, algo assim (extraído do site Estatísticas da UCLA): tolerance<-read.table("http://www.ats.ucla.edu/stat/r/faq/tolpp.csv",sep=",", header=T) head(tolerance, n=10) interaction.plot(tolerance$time, tolerance$id, tolerance$tolerance, xlab="time", ylab="Tolerance", legend=F) Mas e se meu resultado for binário 0 ou 1? Por exemplo, nos dados "ohio" …

8 data-visualization  repeated-measures  binary-data  panel-data