Estatísticas e Big Data

Em R, estou fazendo análise de dados de sobrevivência de pacientes com câncer. Eu tenho lido coisas muito úteis sobre análise de sobrevivência no CrossValidated e em outros lugares e acho que entendi como interpretar os resultados da regressão de Cox. No entanto, um resultado ainda me incomoda ... Estou …

9 r  survival  cox-model  kaplan-meier 

Fiquei pensando: como os espaços de Hilbert e a análise funcional são úteis para o aprendizado de máquina? Eu pensei que o aprendizado de máquina fosse uma mistura de estatística, ciência da computação e otimização. Como a análise funcional se relaciona com isso?

9 machine-learning  mathematical-statistics  computational-statistics 

Quero estimar a divergência KL entre duas distribuições contínuas feeg. No entanto, não posso anotar a densidade para f ou g. Eu posso amostrar a partir de feg através de algum método (por exemplo, cadeia de markov monte carlo). A divergência KL de f para g é definida assim DKeu( …

9 kullback-leibler 

Suponha que você teve um ano alienígena com um comprimento desconhecido N. Se você tem uma amostra aleatória dos referidos alienígenas e alguns deles compartilham aniversários, você pode usar esses dados para estimar a duração do ano? Por exemplo, em uma amostra de 100, você pode ter dois trigêmeos (ou …

9 estimation  inference  birthday-paradox 

Eu tenho um conjunto de dados com três variáveis, onde todas as variáveis ​​são quantitativas. Vamos chamá-lo de , e . Estou ajustando um modelo de regressão em uma perspectiva bayesiana via MCMC comx 1 x 2yyyx1x1x_1x2x2x_2rjags Fiz uma análise exploratória e o gráfico de dispersão de sugere que um …

9 bayesian  feature-selection  model-selection  model  credible-interval 

Onde posso encontrar uma prova do teorema de Pitman – Koopman – Darmois? Eu pesquisei por algum tempo. Estranhamente, muitas notas mencionam esse teorema, mas nenhuma delas apresenta a prova.

9 mathematical-statistics  references  inference  sufficient-statistics 

Quero determinar qual dos dois conjuntos de dados (B1, B2) melhor se correlaciona (pearsons r) a outro conjunto (A). Faltam dados em todos os conjuntos de dados. Como posso determinar se a correlação resultante é significativamente diferente ou não? Por exemplo, os valores 8426 estão presentes em A e B1, …

9 hypothesis-testing  correlation  statistical-significance  missing-data 

Estou tentando encontrar a distribuição de probabilidade de uma soma de um número aleatório de variáveis ​​que não são identicamente distribuídas. Aqui está um exemplo: John trabalha em um call center de atendimento ao cliente. Ele recebe ligações com problemas e tenta resolvê-las. Os que ele não consegue resolver, ele …

9 probability  distributions  random-variable 

Atualmente, estou trabalhando em uma maneira de transformar dois valores de teste de fósforo diferentes um no outro. fundo Existem muitos métodos (de extração) para medir o fósforo disponível na planta no solo. Países diferentes aplicam métodos diferentes; portanto, para comparar a fertilidade P entre países, é necessário calcular o …

9 regression  total-least-squares 

Exemplos: Eu tenho uma frase na descrição do trabalho: "Java senior engineer in UK". Eu quero usar um modelo de aprendizado profundo para prever em duas categorias: English e IT jobs. Se eu usar o modelo de classificação tradicional, ele poderá prever apenas 1 rótulo com softmaxfunção na última camada. …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

Suponha que eu tenha várias cidades com diferentes tamanhos populacionais e queira ver se há uma relação linear positiva entre o número de lojas de bebidas em uma cidade e o número de DUIs. Onde estou determinando se esse relacionamento é significativo ou não com base em um teste t …

9 regression  multicollinearity 

Este é o resultado do google trends obtido para a frase "Naive Bayes" de janeiro de 2004 a abril de 2017 ( link ). De acordo com esse número, a taxa de pesquisa para "Naive Bayes" em abril de 2017 é cerca de% 25 superior ao máximo em todo o …

9 naive-bayes  trend 

Hastie et al. "Os elementos do aprendizado estatístico" (2009) consideram um processo de geração de dados com e .E ( ε ) = 0 Var ( ε ) = σ 2 εY=f(X)+εY=f(X)+ε Y = f(X) + \varepsilon E(ε)=0E(ε)=0\mathbb{E}(\varepsilon)=0Var(ε)=σ2εVar(ε)=σε2\text{Var}(\varepsilon)=\sigma^2_{\varepsilon} Eles apresentam a seguinte decomposição de variação de polarização do erro esperado …

9 variance  forecasting  prediction  terminology  bias 

Como você interpreta uma curva de sobrevivência a partir do modelo de risco proporcional cox? Neste exemplo de brinquedo, suponha que tenhamos um modelo de risco proporcional ao cox na agevariável dos kidneydados e gere a curva de sobrevivência. library(survival) fit <- coxph(Surv(time, status)~age, data=kidney) plot(conf.int="none", survfit(fit)) grid() Por exemplo, …

9 r  survival  cox-model  likelihood  machine-learning  deep-learning  generative-models  machine-learning  reinforcement-learning  q-learning  regression  multicollinearity  convergence  beta-distribution  bernoulli-distribution  machine-learning  self-study  pattern-recognition  neural-networks  stochastic-processes  linear 

Questão: Um mal - entendido comum dos valores-p é que eles representam a probabilidade da hipótese nula ser verdadeira. Sei que isso não está correto e sei que os valores p representam apenas a probabilidade de encontrar uma amostra tão extrema quanto essa, uma vez que a hipótese nula é …

9 hypothesis-testing  bayesian  p-value  frequentist