Estatísticas e Big Data

Digamos, (com ) tem uma densidade . O que podemos dizer sobre a distribuição de X∈RnX∈RnX \in \mathbb{R}^nn > 1n>1n > 1fX( X )fX(x)f_X(x)Y= - logfX( X) ?Y=−log⁡fX(X)? Y = -\log f_X(X)?

7 distributions  mathematical-statistics  data-transformation  entropy 

Em Introdução aos modelos lineares generalizados de Dobson e Barnett, o exercício 1.4b & c é o seguinte: Seja variáveis ​​aleatórias independentes, cada uma com a distribuição . Let e . ...Y1,...,YnY1,...,YnY_1,...,Y_nN(μ,σ2)N(μ,σ2)N(\mu,\sigma^2)Y¯¯¯¯=1n∑ni=1YiY¯=1n∑i=1nYi\overline{Y}=\frac{1}{n}\sum_{i=1}^{n}Y_iS2=1n−1∑ni=1(Yi−Y¯¯¯¯)2S2=1n−1∑i=1n(Yi−Y¯)2S^2=\frac{1}{n-1}\sum_{i=1}^{n}(Y_i-\overline{Y})^2 b. Mostre queS2=1n−1[∑ni=1(Yi−μ)2−n(Y¯¯¯¯−μ)2]S2=1n−1[∑i=1n(Yi−μ)2−n(Y¯−μ)2]S^2 = \frac{1}{n-1}[\sum_{i=1}^{n}(Y_i-\mu)^2-n(\overline{Y}-\mu)^2] c. A partir de (b) segue-se que . Como isso permite deduzir que …

7 self-study  mathematical-statistics  variance  mean  independence 

Eu tenho uma máquina de estado com entradas positivas e negativas. O tempo entre as entradas positivas segue uma distribuição gama ( ), e o tempo entre as entradas negativas segue uma distribuição gama diferente ( ). Assim, as probabilidades de receber positivo e entradas negativas sobre algum intervalo de …

7 pdf  stochastic-processes  markov-process  queueing  interarrival-time 

Li que é benéfico aplicar certas transformações de recursos comuns nos conjuntos de dados antes que eles atinjam os modelos de aprendizado de máquina. Eles são baseados nas distribuições dos recursos do conjunto de dados; por exemplo, aplicar transformações de log a recursos normalmente distribuídos inclinados. Alguns exemplos aqui . …

7 neural-networks  deep-learning  data-transformation 

Suponha que exista um conjunto de perguntas e que haja alunos e .SSS100100100222aaabbb Vamos ser a probabilidade de que responde à pergunta corretamente, e o mesmo para .PaiPaiP_{ai}aaaiiiPbiPbiP_{bi}bbb Todos e são dados para .PaiPaiP_{ai}PbiPbiP_{bi}i=1...100i=1...100i = 1...100 Suponha que um exame é feita tomando perguntas aleatórias de .EEE101010SSS Como posso encontrar …

7 probability  irt 

Eu estava lendo a Introdução à Aprendizagem Estatística. Aqui é mostrado que: - Em um exemplo posterior, o trem e o teste MSE são plotados. Eu queria saber se o viés ^ 2 e a variação são quantidades positivas, então como o MSE pode ser menor que o desvio?

7 regression  mse  training-error  bias-variance-tradeoff 

Considere um planejamento fatorial dentro do sujeito e dentro do item, onde a variável de tratamento experimental possui dois níveis (condições). Seja m1o modelo máximo e m2o modelo sem correlações aleatórias. m1: y ~ condition + (condition|subject) + (condition|item) m2: y ~ condition + (1|subject) + (0 + condition|subject) + …

7 r  mixed-model  lme4-nlme  categorical-encoding  machine-learning  pandas  proportion  r  irt  distributions  conditional-probability  kernel-smoothing  r  data-visualization  r  mixed-model  sas  curve-fitting  matplotlib  data-visualization  python  matplotlib  regression  logistic  simulation  sas  jmp  logit  beta-regression  regression  maximum-likelihood  posterior 

library(datasets) library(nlme) n1 <- nlme(circumference ~ phi1 / (1 + exp(-(age - phi2)/phi3)), data = Orange, fixed = list(phi1 ~ 1, phi2 ~ 1, phi3 ~ 1), random = list(Tree = pdDiag(phi1 ~ 1)), start = list(fixed = c(phi1 = 192.6873, phi2 = 728.7547, phi3 = 353.5323))) Eu ajustei um …

7 r  mixed-model  sas 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 2 anos . A API de fala do Google possui recursos de fala em áudio para texto em …

7 speech-recognition 

A transformação de log sempre mitigará a heterocedasticidade? Porque o livro declara que a transformação de log geralmente reduz a heterocedasticidade. Então, eu quero saber em quais casos isso não diminuirá a heterocedasticidade.

7 regression  data-transformation  heteroscedasticity  logarithm 

Para lidar com dados censurados, vejo que alguns pesquisadores usam métodos de regressão censurados , como a regressão Tobit , alguns usam modelos clássicos de análise de sobrevivência, como a regressão de Cox . Eu sei que a regressão de Cox e a regressão de Tobit são dois modelos diferentes …

7 regression  survival  censoring 

Nos últimos anos, o campo de detecção de objetos sofreu um grande avanço após a popularização do paradigma Deep Learning. Abordagens como YOLO, SSD ou FasterRCNN mantêm o estado da arte na tarefa geral de detecção de objetos [ 1 ]. No entanto, no cenário específico do aplicativo em que …

7 neural-networks  deep-learning  image-processing  computer-vision  object-detection 

Suponha que , onde seja conhecido. Usando esses dados, desejamos testar se , isto é, se a média é um número racional.Xi∼i.i.d.N(μ,σ2)Xi∼i.i.d.N(μ,σ2)X_i \stackrel{\mbox{i.i.d.}}{\sim} \mathcal{N} (\mu, \sigma^2)σ2σ2\sigma^2μ∈Qμ∈Q\mu \in \mathbb{Q}μμ\mu Parece intuitivamente claro que não podemos fazer isso, pois qualquer ruído será muito intenso. Eu imagino que qualquer teste terá taxa de …

7 probability  hypothesis-testing  normal-distribution  mean  iid 

Eu tenho uma pergunta sobre como obter os erros padrão dos coeficientes no meu modelo GLM. Eu tenho a matriz de informações de fisher que calculei manualmente, mas não é dimensionada. Como posso escalar a matriz de informações do fisher para obter os mesmos erros padrão da função GLM?

7 r  generalized-linear-model  covariance 

O viés e a variação de um classificador determinam o grau em que ele pode desajustar e desajustar os dados, respectivamente. Como alguém pode determinar um classificador para ser caracterizado como alto viés ou alta variação? Estou bem claro do que é uma troca de desvios de polarização e sua …

7 machine-learning  classification  bias-variance-tradeoff