Estatísticas e Big Data

Considere um problema estatístico em que você tem uma responsevariável que deseja descrever condicional em uma explanatoryvariável e uma nestedvariável, em que a variável aninhada surge apenas como uma variável significativa para valores específicos da variável explicativa . Nos casos em que a variável explicativa não admite uma variável aninhada …

11 regression  generalized-linear-model  glmm  nested-data 

Eu tenho tentado entender o aumento de gradiente lendo vários blogs, sites e tentando encontrar minha resposta procurando, por exemplo, no código-fonte do XGBoost. No entanto, não consigo encontrar uma explicação compreensível de como algoritmos de aumento de gradiente produzem estimativas de probabilidade. Então, como eles calculam as probabilidades?

11 machine-learning  classification  boosting  ensemble  xgboost 

Eu pesquisei sobre a regressão Bayesian Ridge na Internet, mas a maior parte do resultado que me tornei é sobre a regressão linear bayesiana. Gostaria de saber se são as mesmas coisas, porque a fórmula parece bastante semelhante

11 regression  bayesian 

Estou começando a ler Inferência Causal em Estatística, Uma cartilha de Judea Pearl et. al. Eu tenho mestrado em matemática, mas nunca fiz um curso de estatística. Estou um pouco confuso com uma das perguntas iniciais do estudo, e não há ninguém que eu possa perguntar sobre isso, então espero …

11 causality 

Quando queremos estimar parâmetros de regressão linear, fazemos equações normais até o modelo linear que contém número de incógnitas. Por que essas equações são chamadas de equações normais?

11 regression  least-squares  terminology  linear 

Depois de analisar esta pergunta: tentando imitar a regressão linear usando Keras , tentei dar meu próprio exemplo, apenas para fins de estudo e para desenvolver minha intuição. Baixei um conjunto de dados simples e usei uma coluna para prever outra. Os dados são assim: Agora, criei um modelo keras …

11 regression  machine-learning  neural-networks  linear  keras 

Atualmente, estou trabalhando em um projeto de modelagem preditiva: tentando aprender um modelo e fazer previsões em tempo real com base no modelo que aprendi offline. Comecei a usar a regressão de cume recentemente, porque li que a regularização pode ajudar a reduzir o efeito da multicolinearidade. No entanto, eu …

11 regression  prediction  multicollinearity  ridge-regression 

RMSE (erro médio quadrático da raiz) e SD (desvio padrão) têm fórmulas semelhantes. Este link diz A única diferença é que você divide por e não pois não está subtraindo a média da amostra aqui. O RMSE corresponderia a . Portanto, a população RMSE é e você deseja um IC …

11 standard-deviation  rms 

Estou trabalhando em um problema multiclasse com 9 possíveis rótulos, para os quais tenho um conjunto de dados composto por ~ 50.000 exemplos e ~ 200 recursos cada. Cada exemplo pode pertencer apenas a uma classe. Os dados são bastante equilibrados entre os diferentes rótulos. Dada a sua robustez e …

11 random-forest  scikit-learn  multi-class 

Como posso calcular o valor de p dado Chi ao quadrado e os graus de liberdade? Por exemplo, qual seria o valor p exato de um Chi ao quadrado = 15 com df = 2?

11 r  distributions  chi-squared 

A Análise de Componente Principal (PCA) elimina o ruído no conjunto de dados? Se o PCA não eliminar o ruído no conjunto de dados, o que realmente o PCA faz no conjunto de dados? Alguém pode me ajudar sobre esse assunto.

11 machine-learning  neural-networks  pca  noise 

Em geral, maximizamos uma função L(θ;x1,…,xn)=∏i=1nf(xi∣θ)eu(θ;x1,…,xn)=∏Eu=1nf(xEu∣θ) L(\theta; x_1, \ldots, x_n) = \prod_{i=1}^n f(x_i \mid \theta) onde fff é a função de densidade de probabilidade se a distribuição subjacente for contínua e uma função de massa de probabilidade (com soma em vez de produto) se a distribuição for discreta. Como podemos …

11 mathematical-statistics  maximum-likelihood  likelihood  mixture 

Fechado . Esta pergunta precisa de detalhes ou clareza . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Adicione detalhes e esclareça o problema editando esta postagem . Fechado há 2 anos . Eu me deparei com três medidas estatísticas diferentes para comparar dois conjuntos, em particular a …

11 machine-learning  similarities  dice  segmentation  jaccard-similarity 

Eu sou bastante novo em Machine Learning / Modeling e gostaria de ter um histórico desse problema. Eu tenho um conjunto de dados em que o número de observações é mas o número de variáveis ​​é . Em primeiro lugar, faz sentido considerar a construção de um modelo em um …

11 regression  machine-learning  dimensionality-reduction  penalized 

As variáveis ​​categóricas podem ser usadas no cluster hierárquico? Ouvi dizer que apenas variáveis ​​contínuas são usadas, mas já vi pessoas discutindo variáveis ​​categóricas que podem ou não ser usadas também. Alguém pode fornecer informações?

11 categorical-data  hierarchical-clustering