Estatísticas e Big Data

Antecedentes: Existem algumas ótimas perguntas / respostas aqui sobre como calibrar modelos que preveem as probabilidades de um resultado acontecer. Por exemplo Brier score , e sua decomposição em resolução, incerteza e confiabilidade . Gráficos de calibração e regressão isotônica . Esses métodos geralmente exigem o uso de um método …

12 probability  predictive-models  binary-data  calibration  scoring-rules 

Eu me pergunto por que o softmax hierárquico é melhor para palavras pouco frequentes, enquanto a amostragem negativa é melhor para palavras frequentes, nos modelos CBOW e skip-gram do word2vec. Li a reivindicação em https://code.google.com/p/word2vec/ .

12 natural-language  word2vec  word-embeddings  softmax 

Acredito que a derivada de um processo gaussiano (GP) é outra GP e, portanto, gostaria de saber se existem equações de forma fechada para as equações de previsão da derivada de uma GP? Em particular, estou usando o núcleo de covariância exponencial ao quadrado (também chamado de Gaussiano) e quero …

12 stochastic-processes  gaussian-process  derivative 

Na modelagem de dados de contagem de solicitações em um ambiente de seguro, comecei com Poisson, mas depois notei superdispersão. Um Quasi-Poisson modelou melhor a maior relação média-variância que o Poisson básico, mas notei que os coeficientes eram idênticos nos modelos de Poisson e Quasi-Poisson. Se isso não é um …

12 r  count-data  poisson-regression  overdispersion  quasi-likelihood 

Estou aprendendo regressão linear usando Introdução à análise de regressão linear por Montgomery, Peck e Vining . Eu gostaria de escolher um projeto de análise de dados. Penso ingênuo que a regressão linear é adequada apenas quando se suspeita que haja relações funcionais lineares entre variáveis ​​explicativas e a variável …

12 regression  data-transformation  model  linear  regression-strategies 

Estou testando a igualdade de meios usando o teste t de Welch. A distribuição subjacente está longe de ser normal (mais distorcida que o exemplo em uma discussão relacionada aqui ). Posso obter mais dados, mas gostaria de alguma maneira baseada em princípios de determinar até que ponto fazê-lo. Existe …

12 normal-distribution  t-test  bootstrap  central-limit-theorem  approximation 

Gostaria de executar uma regressão logística ordinal em Python - para uma variável de resposta com três níveis e com alguns fatores explicativos. O statsmodelspacote suporta os modelos binário de logit e multinomial logit (MNLogit), mas não o logit ordenado. Como a matemática subjacente não é tão diferente, gostaria de …

12 categorical-data  python  logit  ordered-logit  statsmodels 

Refiro-me à pergunta e suas respostas: Como comparar a capacidade preditiva (probabilidade) de modelos desenvolvidos a partir de regressão logística? por @Clark Chong e respostas / comentários por @Frank Harrell. e à pergunta Graus de liberdade de no teste de Hosmer-Lemeshowχ2χ2\chi^2 e os comentários. Eu li o artigo DW Hosmer, …

12 hypothesis-testing  logistic  predictive-models  regression-strategies  hosmer-lemeshow-test 

Digamos que eu use um RNN / LSTM para fazer análise de sentimentos, que é uma abordagem muitos-para-um (consulte este blog ). A rede é treinada por meio de uma retropropagação truncada ao longo do tempo (BPTT), em que a rede é desenrolada por apenas 30 últimas etapas, como de …

12 neural-networks  deep-learning  natural-language  backpropagation 

Como indicado no título, digamos que se eu comprar aleatoriamente 4 cartas e você tirar 6 do mesmo baralho, qual é a probabilidade de que minha carta mais alta ultrapasse a sua? Como isso mudará se utilizarmos diferentes decks? Obrigado!

12 probability  maximum 

Suponha que eu tenha um painel de variáveis ​​explicativas XitXitX_{it} , para i=1...Ni=1...Ni = 1 ... N , t=1...Tt=1...Tt = 1 ... T , bem como um vector de variáveis dependentes resultado binário YiTYiTY_{iT} . Então YYY é observado apenas no tempo final TTT e não em nenhum momento anterior. …

12 regression  machine-learning  reinforcement-learning 

Eu sou novo no aprendizado de máquina, por isso estou tentando encontrar alguma literatura, mas nem sei ao certo para o Google. Meus dados têm o seguinte formato: User A performs Action P User B performs Action Q User C performs Action R ... User C performs Action X User …

12 machine-learning  cross-correlation 

À medida que descubro o aprendizado de máquina, vejo diferentes técnicas interessantes, como: ajustar algoritmos automaticamente com técnicas como grid search, obtenha resultados mais precisos através da combinação de algoritmos diferentes do mesmo "tipo", ou seja boosting, obtenha resultados mais precisos através da combinação de algoritmos diferentes (mas não do …

12 machine-learning  algorithms  boosting  stacking  automatic-algorithms 

Estou estudando como construir um intervalo de confiança de 95% para odds ratio a partir dos coeficientes obtidos na regressão logística. Portanto, considerando o modelo de regressão logística, log(p1−p)=α+βxlog⁡(p1−p)=α+βx \log\left(\frac{p}{1 - p}\right) = \alpha + \beta x \newcommand{\var}{\rm Var} \newcommand{\se}{\rm SE} de tal modo que x=0x=0x = 0 para o …

12 logistic  confidence-interval  odds-ratio  delta-method 

Uma mulher para quem eu estava trabalhando me pediu para fazer uma ANOVA unidirecional em alguns dados. Respondi que os dados eram dados de medidas repetidas (séries temporais) e que achava que a suposição de independência era violada. Ela respondeu que eu não deveria me preocupar com as suposições, basta …

12 assumptions