Estatísticas e Big Data

Eu sei que R possui bibliotecas gam e mgcv para modelos aditivos generalizados. Mas estou tendo dificuldade em encontrar suas contrapartes no ecossistema Python (o statsmodels possui apenas protótipo na sandbox). Alguém está ciente das bibliotecas python existentes? Quem sabe isso pode ser um bom projeto para desenvolver / contribuir …

14 gam 

Na regressão de crista, a função objetivo a ser minimizada é: RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. Isso pode ser otimizado usando o método multiplicador de Lagrange? Ou é uma diferenciação direta?

14 regression  regularization  ridge-regression 

Contexto : Eu quero desenhar uma linha em um gráfico de dispersão que não aparece paramétrica, portanto, eu estou usando geom_smooth()no ggplotno R. Ele retorna automaticamente, geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x' …

14 r  gam  splines  loess  r  data-visualization  boxplot  mathematical-statistics  theory  sufficient-statistics  machine-learning  classification  correlation  svm  feature-selection  probability  stochastic-processes  machine-learning  reinforcement-learning 

Não consigo entender a Thompson Sampling e como ela funciona. Eu estava lendo sobre o Multi Arm Bandit e depois de ler o Algoritmo de limite superior de confiança, muitos textos sugeriam que o Thompson Sampling tivesse um desempenho melhor que o UCB. O que é Thompson Sampling, em termos …

14 machine-learning  definition  multiarmed-bandit 

Estou procurando implementar um modelo dinâmico para recomendar um filme para um usuário. A recomendação deve ser atualizada sempre que o usuário assiste a um filme ou o classifica. Para simplificar, estou pensando em levar dois fatores em consideração: as classificações anteriores de outros filmes pelo usuário o tempo em …

14 machine-learning  recommender-system  dynamic-regression 

Inspirado em minha outra pergunta , gostaria de perguntar como encontrar o modo de uma função de densidade de probabilidade (PDF) de uma função f(x)f(x)f(x) ? Existe algum procedimento de "livro de receitas" para isso? Aparentemente, essa tarefa é muito mais difícil do que parece à primeira vista.

14 pdf  function  mode  shortest-half 

Como parte da saída de um modelo linear generalizado, os desvios nulo e residual são usados ​​para avaliar o modelo. Muitas vezes, vejo as fórmulas para essas quantidades expressas em termos da probabilidade logarítmica do modelo saturado, por exemplo: /stats//a/113022/22199 , Regressão logística: como obter um modelo saturado O modelo …

14 regression  generalized-linear-model  deviance  log-likelihood 

Eu criei uma regressão logística usando o seguinte código: full.model.f = lm(Ft_45 ~ ., LOG_D) base.model.f = lm(Ft_45 ~ IP_util_E2pl_m02_flg) step(base.model.f, scope=list(upper=full.model.f, lower=~1), direction="forward", trace=FALSE) Em seguida, usei a saída para criar um modelo final: final.model.f = lm(Ft_45 ~ IP_util_E2pl_m02_flg + IP_util_E2_m02_flg + AE_NumVisit1_flg + OP_NumVisit1_m01_flg + IP_TotLoS_m02 + Ft1_45 …

14 r  probability  logistic 

A partir de leituras sobre distribuições de cauda longa e pesada, entendi que todas as distribuições de cauda longa são de cauda pesada , mas nem todas as distribuições de cauda pesada são de cauda longa . Alguém poderia fornecer um exemplo de: uma função de densidade contínua, simétrica, com …

14 distributions  heavy-tailed 

Estou interessado em analisar várias métricas diferentes para algoritmos de classificação - existem algumas listadas na página da Wikipedia Learning to Rank, incluindo: • Precisão média média (PAM); • DCG e NDCG; • Precisão @ n, NDCG @ n, em que "@n" indica que as métricas são avaliadas apenas nos …

14 algorithms  ranking 

Pergunta: é possível treinar um NN para distinguir entre números pares e ímpares usando apenas como entrada os próprios números? Eu tenho o seguinte conjunto de dados: Number Target 1 0 2 1 3 0 4 1 5 0 6 1 ... ... 99 0 100 1 Treinei um NN …

14 machine-learning  classification  categorical-data  neural-networks  genetic-algorithms 

Para uma variável aleatória contínua arbitrária, digamos , sua entropia diferencial é sempre menor que ∞ ? (Tudo bem se estiver - ∞ .) Se não, qual é a condição necessária e suficiente para que seja menor que ∞ ?XXX∞∞\infty-∞−∞-\infty∞∞\infty

14 entropy  information-theory  maximum-entropy 

Eu tenho uma pergunta sobre dois métodos diferentes de bibliotecas diferentes, que parece estar fazendo o mesmo trabalho. Eu estou tentando fazer o modelo de regressão linear. Aqui está o código que eu estou usando na biblioteca statsmodel com o OLS: X_train, X_test, y_train, y_test = cross_validation.train_test_split(x, y, test_size=0.3, random_state=1) …

14 regression  python  scikit-learn  statsmodels 

Estou muito confuso com a forma como o peso funciona em glm com family = "binomial". No meu entendimento, a probabilidade do glm com family = "binomial" é especificada da seguinte forma: onde é a "proporção de sucesso observado" e é o número conhecido de tentativas.f(y)=(nny)pny(1−p)n(1−y)=exp(n[ylogp1−p−(−log( 1 - p ) …

14 r  logistic  generalized-linear-model  binomial  weighted-regression 

Desculpas se esta é uma pergunta muito óbvia, mas eu tenho lido várias postagens e parece que não consigo encontrar uma boa confirmação. No caso de classificação, a precisão de um classificador é = taxa de erro de 1 teste ? Percebo que a precisão é , mas minha pergunta …

14 classification  terminology  accuracy