Estatísticas e Big Data

Estou procurando conselhos sobre como analisar dados complexos de pesquisas com modelos multiníveis em R. Eu usei o surveypacote para ponderar probabilidades desiguais de seleção em modelos de um nível, mas este pacote não possui funções para modelagem multinível. O lme4pacote é ótimo para modelagem multinível, mas não sei como …

11 r  mixed-model  weighted-sampling  cluster-sample 

No GLM, assumindo um escalar e para a distribuição subjacente com pdf Pode ser mostrado que . Se a função de link g (\ cdot) satisfizer o seguinte, g (\ mu) = \ theta = X '\ beta em que X' \ beta é o preditor linear, então g (\ …

11 generalized-linear-model  exponential-family 

Suponha que onde X i ∼ N ( 0 , σ 2 ) são independentes.X=X1+X2+⋯+XnX=X1+X2+⋯+Xn X = X_1 + X_2+\cdots+ X_n Xi∼N(0,σ2)Xi∼N(0,σ2)X_i \sim N(0,\sigma^2) Minha pergunta é: qual distribuição faz Z=X2X21+X22+⋯+X2nZ=X2X12+X22+⋯+Xn2 Z = \frac{X^2}{X_1^2 + X_2^2 + \cdots + X_n^2} Segue? Eu sei daqui que a razão de duas variáveis …

11 normal-distribution  chi-squared  beta-distribution  ratio 

Ao procurar qualquer informação sobre o modelo marginal e o modelo de efeitos aleatórios , e como escolher entre eles, encontrei algumas informações, mas era uma explicação abstrata matemática mais ou menos (como por exemplo aqui: https: //stats.stackexchange .com / a / 68753/38080 ). Em algum lugar, descobri que foram …

11 mixed-model  random-effects-model  glmm  gee  marginal-model 

Estou fazendo ML na minha universidade, e o professor mencionou o termo Expectativa (E), enquanto tentava nos explicar algumas coisas sobre os processos gaussianos. Mas, pela maneira como ele explicou, eu entendi que E é o mesmo que a média μ. Eu entendi certo? Se for o mesmo, você sabe …

11 machine-learning  gaussian-process  linear-algebra 

Estou trabalhando em um problema de classificação que calcula uma métrica de similaridade entre duas imagens de raios-x de entrada. Se as imagens forem da mesma pessoa (rótulo de 'right'), uma métrica maior será calculada; imagens de entrada de duas pessoas diferentes (rótulo de 'errado') resultarão em uma métrica mais …

11 classification  confidence-interval  cross-validation  matlab 

Eu estava lendo o livro The Identification Problem In Econometrics, de Franklin M. Fisher, e fiquei confuso com a parte que ele demonstra a identificação visualizando a função de probabilidade. O problema pode ser simplificado como: Para uma regressão , em que , e são os parâmetros. Suponha que tenha …

11 mathematical-statistics  maximum-likelihood  geometry 

Parece que a distribuição binomial é muito semelhante em forma à distribuição beta e que posso parametrizar constantes em qualquer um dos pdf para fazê-las parecer iguais. Então, por que precisamos da distribuição beta? É para um propósito específico? Obrigado!

11 bayesian  mathematical-statistics  binomial  beta-distribution 

Como você verifica a ergodicidade de um processo estocástico estacionário de sentido amplo a partir do (s) caminho (s) da amostra? Podemos verificar a ergodicidade a partir de um único caminho de amostra? Ou precisamos de vários caminhos de amostra? Uma motivação para verificar a ergodicidade está nas séries temporais …

11 time-series  ergodic 

Estou tentando avaliar o desempenho de um algoritmo de classificação de aprendizado de máquina supervisionado. As observações se enquadram em classes nominais (2 por enquanto, no entanto, eu gostaria de generalizar isso para problemas de várias classes), extraídos de uma população de 99 indivíduos. Uma das perguntas que eu gostaria …

11 r  hypothesis-testing  nonparametric 

A distribuição normal bivariada com média e matriz de covariância pode ser reescrita em coordenadas polares com raio e ângulo . Minha pergunta é: Qual é a distribuição amostral de , isto é, a distância de um ponto ao centro estimado dada a matriz de covariância da amostra ?μμ\muΣΣ\Sigmarrrθθ\thetar^r^\hat{r}xxxx¯x¯\bar{x}SSS Antecedentes: …

11 probability  normal-distribution  multivariate-analysis  rayleigh 

No artigo da wikipedia sobre suavização de Laplace (ou suavização aditiva), diz-se que, do ponto de vista bayesiano, isso corresponde ao valor esperado da distribuição posterior, usando uma distribuição simétrica de Dirichlet com o parâmetro como anterior.αα\alpha Estou confuso sobre como isso é realmente verdade. Alguém poderia me ajudar a …

11 bayesian  smoothing  dirichlet-distribution  laplace-smoothing 

A modularidade de um gráfico é definida em sua página da Wikipedia . Em um post diferente , alguém explicou que a modularidade pode ser facilmente calculada (e maximizada) para redes ponderadas porque a matriz de adjacência pode conter laços valiosos. No entanto, gostaria de saber se isso também funcionaria …

11 clustering  data-visualization  networks  partitioning  modularity 

Achei um tutorial muito útil sobre o algoritmo EM . O exemplo e a imagem do tutorial são simplesmente brilhantes. Pergunta relacionada sobre como calcular probabilidades como funciona a maximização de expectativas? Eu tenho outra pergunta sobre como conectar a teoria descrita no tutorial ao exemplo. Durante a etapa E, …

11 machine-learning  clustering  algorithms  natural-language 

Chris Chatfield, cujos livros e documentos de qualidade eu gostei de ler, em (1) dá os seguintes conselhos: Por exemplo, a escolha entre os modelos de séries temporais ARIMA com valores baixos e aproximadamente iguais da AIC provavelmente deve ser feita, não sobre o que acontece para fornecer a AIC …

11 forecasting  model-selection  arima  aic