Estatísticas e Big Data

Eu estava conversando com alguém hoje sobre amostragem e me lembro vagamente de uma história sobre um estatístico muito respeitado recomendando amostragem sistemática da lista telefônica em um caso jurídico específico. Lembro-me da história parecendo um juiz no tribunal dizendo algo para ele como "Não sei muito sobre estatísticas, mas …

10 sampling  references  history 

Eu tenho principalmente experiência em ciência da computação, mas agora estou tentando me ensinar estatísticas básicas. Eu tenho alguns dados que eu acho que tem uma distribuição Poisson Eu tenho duas perguntas: Esta é uma distribuição de Poisson? Em segundo lugar, é possível converter isso em uma distribuição normal? Qualquer …

10 normal-distribution  data-transformation  poisson-distribution 

Eu só quero verificar se estou interpretando os gráficos ACF e PACF corretamente: Os dados correspondem aos erros gerados entre os pontos de dados reais e as estimativas geradas usando um modelo AR (1). Eu olhei para a resposta aqui: Estimar coeficientes ARMA através da inspeção ACF e PACF Depois …

10 time-series  arima  interpretation  autocorrelation  acf-pacf 

Seja uma amostra aleatória de uma distribuição para . Ou seja,X1,...,XnX1,...,Xn X_1, ...,X_nGeometric(θ)Geometric(θ)Geometric(\theta)0&lt;θ&lt;10&lt;θ&lt;10<\theta<1 pθ(x)=θ(1−θ)x−1I{1,2,...}(x)pθ(x)=θ(1−θ)x−1I{1,2,...}(x)p_{\theta}(x)=\theta(1-\theta)^{x-1} I_{\{1,2,...\}}(x) Encontre o estimador imparcial com variação mínima parag(θ)=1θg(θ)=1θg(\theta)=\frac{1}{\theta} Minha tentativa: Como a distribuição geométrica é da família exponencial, as estatísticas são completas e suficientes para . Além disso, se é um estimador para , ele …

10 probability  self-study  estimation  unbiased-estimator  exponential-family 

Minha pergunta surge da leitura de "Estimating a Dirichlet Distribution" de Minka , que declara o seguinte sem provas no contexto de derivar um estimador de probabilidade máxima para uma distribuição de Dirichlet com base em observações de vetores aleatórios: Como sempre com a família exponencial, quando o gradiente é …

10 self-study  maximum-likelihood  exponential-family  sufficient-statistics 

Devo usar o kernel exponencial ao quadrado (SE) para regressão de processo gaussiana. As vantagens deste kernel são: 1) simples: apenas 3 hiperparâmetros; 2) suave: esse núcleo é gaussiano. Por que as pessoas gostam tanto de 'suavidade'? Eu sei que o kernel gaussiano é infinitamente diferenciável, mas isso é tão …

10 machine-learning 

Eu tenho uma matriz de correlaçãoAAA , que eu obtive usando o coeficiente de correlação linear de Pearson através docorrcoefde Matlab(). A matriz de correlação da dimensão 100x100, ou seja, eu calculei a matriz de correlação em 100 variáveis ​​aleatórias. Entre essas 100 variáveis ​​aleatórias, gostaria de encontrar as 10 …

10 correlation 

Eu tenho uma amostra de 1.449 pontos de dados que não estão correlacionados (r ao quadrado 0,006). Ao analisar os dados, descobri que, dividindo os valores das variáveis ​​independentes em grupos positivo e negativo, parece haver uma diferença significativa na média da variável dependente para cada grupo. Dividindo os pontos …

10 regression  correlation  linear-model  r-squared 

Christopher Bishop escreve em seu livro Pattern Recognition and Machine Learning uma prova de que cada componente principal consecutivo maximiza a variação da projeção para uma dimensão, depois que os dados foram projetados no espaço ortogonal aos componentes selecionados anteriormente. Outros mostram provas semelhantes. No entanto, isso prova apenas que …

10 machine-learning  variance  pca  dimensionality-reduction  eigenvalues 

Eu encontrei este post: Sim. O coeficiente reflete a alteração nas chances de log para cada incremento de alteração no preditor ordinal. Essa especificação de modelo (muito comum) pressupõe que o preditor tenha um impacto linear em seus incrementos. Para testar a suposição, você pode comparar um modelo no qual …

10 regression  logistic  references  ordinal-data 

Entendo que a f-measure (com base na precisão e recall) é uma estimativa da precisão de um classificador. Além disso, a f-measure é favorecida à precisão quando temos um conjunto de dados desequilibrado. Eu tenho uma pergunta simples (que é mais sobre o uso de terminologia correta do que sobre …

10 machine-learning  classification  data-mining  unbalanced-classes  accuracy 

Foi-me perguntado por um revisor se as correlações de Pearson (valores-r) apresentadas em uma tabela podem ser comparadas entre si, de modo que se possa afirmar que uma é "mais forte" que a outra (além de apenas observar os valores-reais) . Como você faria isso? Eu encontrei esse método http://vassarstats.net/rdiff.html …

10 correlation  pearson-r  method-comparison 

Estou trabalhando em um algoritmo que precisa calcular o tamanho de um conjunto gerado pelas interseções de pelo menos 2 conjuntos. Mais especificamente: z= | UMA0 0∩ … ∩ An|z=|A0∩…∩An| z = \left |A_0 \cap \ldots \cap A_n \right | Os conjuntos que são cruzados são gerados por consultas SQL …

10 error  sample 

Meu nome é Hugh e sou um estudante de doutorado usando modelos aditivos generalizados para fazer algumas análises exploratórias. Não tenho certeza de como interpretar os valores-p que vêm do pacote MGCV e gostaria de verificar meu entendimento (estou usando a versão 1.7-29 e consultei algumas das documentações de Simon …

10 p-value  mgcv 

Eu estava lendo as notas da aula de Andrew Ng sobre aprendizado por reforço e estava tentando entender por que a iteração de políticas convergiu para a função de valor ideal e a política ideal .V∗V∗V^*π∗π∗\pi^* Lembre-se de que a iteração da política é: Initialize π randomlyRepeat{Let V:=Vπ \for the …

10 reinforcement-learning  policy-iteration