Estatísticas e Big Data

Por que usaríamos probabilidades em vez de probabilidades ao realizar regressão logística?

8 regression  logistic  odds 

Seja f [x] um pdf de mistura gaussiana com n termos de peso uniforme, meios e variações correspondentes :{ μ1, . . . , μn}{μ1,...,μn}\{\mu_{1},...,\mu_{n}\}{σ1,...,σn}{σ1,...,σn}\{\sigma_{1},...,\sigma_{n}\} f(x)≡1n∑i=1n12πσ2i−−−−√e−(x−μi)22σ2if(x)≡1n∑i=1n12πσi2e−(x−μi)22σi2f(x)\equiv\frac{1}{n}\sum_{i=1}^{n}\frac{1}{\sqrt{2\pi\sigma_{i}^{2}}}e^{-\frac{(x-\mu_{i})^{2}}{2\sigma_{i}^{2}}} Parece intuitivo que a probabilidade de log amostrada nos n centros gaussianos seja maior que (ou igual a) a probabilidade de log média: 1n∑j=1nln(f(μj))≥∫f(x)ln(f(x))dx1n∑j=1nln(f(μj))≥∫f(x)ln(f(x))dx\frac{1}{n}\sum_{j=1}^{n}ln(f(\mu_{j}))\geq\int …

8 machine-learning  gaussian-mixture 

Assintoticamente, minimizar o AIC é equivalente a minimizar o MSE de validação cruzada de exclusão única para dados transversais [ 1 ]. Então, quando temos a AIC, por que alguém usa o método de dividir os dados em conjuntos de treinamento, validação e teste para medir as propriedades preditivas dos …

8 predictive-models  aic 

O que é assimetria de uma distribuição? Pergunto por que alguns índices específicos parecem indecisos quanto à simetria e, em alguns casos, também à assimetria.

8 interpretation  terminology  skewness  definition 

Eu li os ótimos comentários sobre como lidar com valores ausentes antes de aplicar o SVD, mas gostaria de saber como ele funciona com um exemplo simples: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Dada a matriz …

8 r  missing-data  data-imputation  svd  sampling  matlab  mcmc  importance-sampling  predictive-models  prediction  algorithms  graphical-model  graph-theory  r  regression  regression-coefficients  r-squared  r  regression  modeling  confounding  residuals  fitting  glmm  zero-inflation  overdispersion  optimization  curve-fitting  regression  time-series  order-statistics  bayesian  prior  uninformative-prior  probability  discrete-data  kolmogorov-smirnov  r  data-visualization  histogram  dimensionality-reduction  classification  clustering  accuracy  semi-supervised  labeling  state-space-models  t-test  biostatistics  paired-comparisons  paired-data  bioinformatics  regression  logistic  multiple-regression  mixed-model  random-effects-model  neural-networks  error-propagation  numerical-integration  time-series  missing-data  data-imputation  probability  self-study  combinatorics  survival  cox-model  statistical-significance  wilcoxon-mann-whitney  hypothesis-testing  distributions  normal-distribution  variance  t-distribution  probability  simulation  random-walk  diffusion  hypothesis-testing  z-test  hypothesis-testing  data-transformation  lognormal  r  regression  agreement-statistics  classification  svm  mixed-model  non-independent  observational-study  goodness-of-fit  residuals  confirmatory-factor  neural-networks  deep-learning 

Comecei a ler sobre Redes Neurais Recorrentes (RNNs) e Memória de Longo Prazo (LSTM) ... (... oh, não há pontos de representantes suficientes aqui para listar referências ...) Uma coisa que eu não entendo: sempre parece que os neurônios em cada instância de uma camada oculta ficam "totalmente conectados" com …

8 machine-learning  neural-networks  backpropagation 

O que significa "validade de um instrumento" exatamente? No meu curso de econometria, acabamos de definir a validade do instrumento como , onde Z é a variável instrumental e uE[Z|u]=0E[Z|você]=0 0E[Z|u]=0ZZZuvocêu é o termo de erro de um modelo de regressão univariado. Depois, também falamos sobre a força de um …

8 econometrics  instrumental-variables 

Suponha que eu faça um monte de previsões probabilísticas como: 70% de probabilidade de que o crescimento das vendas seja de 10 a 15% no primeiro trimestre, 10% de probabilidade de que o crescimento de vendas seja> 15%, 20% de probabilidade de que o crescimento de vendas seja <10% Dados …

8 forecasting  scoring-rules 

Eu estou pensando sobre as diferenças. Com base no meu entendimento, o MLP é um tipo de rede neural, onde a função de ativação é sigmóide e o termo de erro é um erro de entropia cruzada (logística). Procurando ajuda, obrigado!

8 neural-networks  perceptron 

Peço desculpas antecipadamente se esta pergunta for mal colocada: sou astrônomo, não estatístico. Minha pergunta tem como objetivo específico me ajudar a descobrir se os processos gaussianos são uma técnica apropriada para o meu problema. Usando um telescópio e um espectrógrafo alimentado por fibra, meu projeto levou o espectro óptico …

8 gaussian-process 

Gostaria de calcular P( Y= a X2+ b X+ c &lt; 0 )P(Y=aX2+bX+c&lt;0)P(Y=aX^2+bX+c<0) onde . Eu posso fazer isso facilmente usando Monte Carlo. No entanto, me pediram para encontrar o pdf analítico de e depois calcularX∼ N( 0 , σ)X∼N(0,σ)X \sim N(0,\sigma)fY( y)fY(y)f_Y(y)YYY Eu= ∫0 0- ∞fY( y) dyI=∫−∞0fY(y)dyI=\int_{-\infty}^0 f_Y(y) …

8 probability  normal-distribution  pdf  polynomial 

Na cadeia de Monte Carlo, Metropolis-Hastings Markov, a distribuição da proposta pode ser qualquer coisa, incluindo o gaussiano (de acordo com a Wikipedia). P: Qual é a motivação para usar algo diferente de gaussiano? O trabalho gaussiano, é fácil de avaliar, é rápido e todo mundo entende. Por que eu …

8 sampling  mcmc  monte-carlo  metropolis-hastings 

Eu tenho um problema em mãos, que não estou conseguindo prosseguir. Alguém pode me ajudar a começar? Y1&lt;Y2&lt;Y3Y1&lt;Y2&lt;Y3Y_1<Y_2<Y_3 : Uma ordem de tamanho 3 estatística de distribuição tendo pdf f(x)=2x 0&lt;x&lt;1f(x)=2x 0&lt;x&lt;1 f(x)=2x\ \ \ 0<x<1 Além disso, definirU1=Y1Y2 and U2=Y2Y3U1=Y1Y2 and U2=Y2Y3U_1={Y_1\over Y_2} \ \ \text{and }\ \ \ …

8 self-study  independence  joint-distribution  order-statistics 

Ensino física a estudantes do ensino médio e gostaria que meus alunos fizessem uma comparação rudimentar do modelo bayesiano para obter dados de seus experimentos. Eu descobri uma maneira de fazê-lo (veja abaixo), mas não tenho certeza de que esteja correto. Eu gostaria muito de receber algum feedback sobre ele …

8 bayesian  linear-model  model-comparison  teaching  bayes-factors 

Como a condição de esparsidade em uma matriz de covariância inversa afeta a matriz de covariância real?

8 mathematical-statistics  covariance-matrix  linear-algebra