Estatísticas e Big Data

Formular um modelo matemático para um problema é um dos aspectos mais subjetivos da estatística, mas também um dos mais importantes. Quais são as melhores referências para lidar com esse tópico crucial, mas muitas vezes negligenciado? E qual famoso estatístico disse algo como "Deixe os dados guiarem o modelo?"

9 modeling  references 

Eu tenho as seguintes séries temporais obtido usando os dados postados abaixo. Para um tamanho de janela deslizante de 10, estou tentando calcular a divergência KL entre o PMF de valores na janela deslizante atual e o PMF da história com o objetivo final de traçar o valor da divergência …

9 time-series  probability  multivariate-analysis  histogram  kullback-leibler 

Geralmente, existem muitas distribuições conjuntas consistentes com um conjunto conhecido de distribuições marginais .P(X1=x1,X2=x2,...,Xn=xn)P(X1=x1,X2=x2,...,Xn=xn)P(X_1 = x_1, X_2 = x_2, ..., X_n = x_n)fi(xi)=P(Xi=xi)fi(xi)=P(Xi=xi)f_i(x_i) = P(X_i = x_i) Destas distribuições conjuntas, o produto é formado pelo produto dos marginais aquele com a maior entropia?∏ifi(xi)∏ifi(xi)\prod_i f_i(x_i) Certamente acredito que isso é verdade, …

9 distributions  joint-distribution  marginal  maximum-entropy 

Existem duas formas para a distribuição Gamma, cada uma com definições diferentes para os parâmetros de forma e escala. Em vez de perguntar como o formulário é usado para a implementação do gsl_ran_gamma , provavelmente é mais fácil solicitar as definições associadas para a média e o desvio padrão em …

9 gamma-distribution 

Fiz o download do código GPML Matlab mais recente e o código GPML Matlab e li a documentação e executei a demonstração de regressão sem problemas. No entanto, estou tendo dificuldade em entender como aplicá-lo a um problema de regressão com o qual me deparo. O problema de regressão é …

9 regression  machine-learning  matlab  gaussian-process 

Estou executando uma regressão logística binária com 3 variáveis ​​numéricas. Estou suprimindo a interceptação nos meus modelos, pois a probabilidade deve ser zero se todas as variáveis ​​de entrada forem zero. Qual é o número mínimo de observações que devo usar?

9 regression  logistic 

É mencionado aqui que um dos métodos para determinar o número ideal de clusters em um conjunto de dados é o "método do cotovelo". Aqui, a porcentagem de variação é calculada como a razão da variação entre os grupos e a variação total. Senti-me difícil ao entender esse cálculo. Alguém …

9 clustering  k-means 

Pergunta direta: Existem medidas de correlação automática para uma sequência de observações de uma variável categórica (não ordenada)? Antecedentes: estou usando o MCMC para obter amostras de uma variável categórica e gostaria de avaliar se o método de amostragem que desenvolvi está se misturando na distribuição posterior. Estou familiarizado com …

9 categorical-data  mcmc  autocorrelation 

Eu li muitos artigos que testam o k-means com muitos conjuntos de dados que normalmente não são distribuídos como o conjunto de dados da íris e obtêm bons resultados. Como entendo que o k-means é para dados normalmente distribuídos, por que o k-means está sendo usado para dados não distribuídos …

9 normal-distribution  outliers  k-means 

Pesquisei um pouco no Google, mas não encontrei nada sobre isso. Suponha que você faça uma regressão do quantil no quinto quinto da variável dependente. Em seguida, você divide o DV no quinto quantil e rotula o resultado 0 e 1. Em seguida, você faz a regressão logística no DV …

9 logistic  quantile-regression 

Eu tenho lido o artigo original sobre desistência, ( https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf ) e na seção de regressão linear, afirma-se que: ER∼Bernoulli(p)[∥y −(R∗X)w∥2]ER∼Bernoulli(p)[‖y −(R∗X)w‖2]\mathbb{E}_{R\sim Bernoulli(p)}\left[\| y\ - (R*X)w\|^2\right] reduz para: ∥y−pXw∥2+p(1−p)∥Γw∥2‖y−pXw‖2+p(1−p)‖Γw‖2\|y - pXw\|^2 + p(1-p) \|\Gamma w\|^2 Estou tendo problemas para entender como eles chegaram a esse resultado. Alguém pode ajudar?

9 regression  dropout 

Estou aprendendo sobre os modelos de mistura gaussiana (GMM), mas estou confuso sobre o motivo pelo qual alguém deveria usar esse algoritmo. Como esse algoritmo é melhor do que outro algoritmo padrão de cluster, como significa quando se trata de clustering? O significa que o algoritmo particiona os dados em …

9 normal-distribution  unsupervised-learning  gaussian-mixture 

Antes de tudo, percebo que minha pergunta é muito ampla e que pode ser difícil responder a essa pergunta por causa disso. Você tem algum conselho sobre como abordar um 'problema' em que precisa fazer previsões / previsões para mais de 2000 produtos diferentes? Em outras palavras, cada produto requer …

9 time-series  forecasting  segmentation 

Suponha que eu tenha um conjunto de dados de alta dimensão e queira executar a seleção de recursos. Uma maneira é treinar um modelo capaz de identificar os recursos mais importantes desse conjunto de dados e usá-lo para jogar fora os menos importantes. Na prática, eu usaria de sklearn SelectFromModel …

9 feature-selection  linear-model  lasso  ridge-regression 

Há uma afirmação de que maximizar a probabilidade é equivalente a minimizar a entropia cruzada. Existe alguma prova para esta afirmação?

9 machine-learning  mathematical-statistics  maximum-likelihood  cross-entropy