Estatísticas e Big Data

Eu tenho alguns dados que eu ajustei usando um modelo LOESS em R, me dando o seguinte: Os dados têm um preditor e uma resposta e são heterocedásticos. Eu também adicionei intervalos de confiança. O problema é que os intervalos são intervalos de confiança para a linha, enquanto eu estou …

17 r  regression  prediction-interval  loess 

Desenhe aleatoriamente nnn intervalos de [0,1][0,1][0,1] , onde cada ponto final A, B é selecionado a partir da distribuição uniforme entre [0,1][0,1][0,1] . Qual é a probabilidade de que pelo menos um intervalo se sobreponha a todos os outros?

17 probability 

Eu sou novo em Redes Neurais Recorrentes (RNN) e ainda estou aprendendo os conceitos. Eu entendo em um nível abstrato que uma Echo State Network (ESN) é capaz de (re) produzir uma sequência de entradas, ou seja, um sinal, mesmo após a remoção da entrada. No entanto, achei o artigo …

17 neural-networks 

Trabalhei com a crença de que a mediana da amostra é uma medida de tendência central mais robusta do que a média da amostra, uma vez que ignora valores extremos. Portanto, fiquei surpreso ao saber (na resposta a outra pergunta ) que, para amostras retiradas de uma distribuição normal, a …

17 distributions  median  intuition  mean  efficiency 

Estou repostando uma "resposta" a uma pergunta que eu havia feito há duas semanas atrás: Por que o Jeffreys é útil antes? Era realmente uma pergunta (e eu também não tinha o direito de postar comentários), então espero que esteja tudo bem fazer isso: No link acima, é discutido que …

17 bayesian  mathematical-statistics  fisher-information  jeffreys-prior  invariance 

De acordo com este artigo da Wikipedia , pode-se representar o produto de probabilidades x⋅ycomo -log(x) - log(y)tornando o cálculo mais ótimo computacionalmente. Mas se eu tentar um exemplo, diga: p1 = 0.5 p2 = 0.5 p1 * p2 = 0.25 -log(p1) - log(p2) = 2 p3 = 0.1 p4 …

17 probability  logarithm  arithmetic 

Por que as "séries temporais" são chamadas assim? Série significa soma de uma sequência. Por que é série temporal, não sequência temporal? O tempo é a variável independente?

17 time-series  self-study  references  terminology 

Eu estava lendo a seguinte justificativa (das notas do curso cs229) sobre por que dividimos os dados brutos por seu desvio padrão: mesmo que eu entenda o que a explicação está dizendo, não está claro para mim por que a divisão pelo desvio padrão alcançaria tal objetivo. Diz que todos …

17 machine-learning  pca  mathematical-statistics 

Nos últimos anos, a abordagem estrutural da econometria, em comparação com a econometria de forma reduzida, tornou-se mais popular. Isso envolve uma combinação estreita de modelos econômicos teóricos e estatísticas para estimar parâmetros de interesse. A imposição de uma estrutura mais teórica da maneira como usamos dados e métodos estatísticos …

17 econometrics  references 

Percebi que muitos pacotes e temas de plotagem "de última geração" e muitas pessoas distintas de dados usam fundo cinza para suas plotagens. Aqui estão vários exemplos: ggplot2: Nate Silver's fivethirtyeight.com: Enquanto no primeiro exemplo acima (ggplot2), pode-se argumentar que o uso de fundo cinza reduz a tinta necessária para …

17 data-visualization  ggplot2 

Eu tenho um modelo de conjunto de dados Movies e usei a regressão: model <- lm(imdbVotes ~ imdbRating + tomatoRating + tomatoUserReviews+ I(genre1 ** 3.0) +I(genre2 ** 2.0)+I(genre3 ** 1.0), data = movies) res <- qplot(fitted(model), resid(model)) res+geom_hline(yintercept=0) O que deu a saída: Agora tentei trabalhar com algo chamado Added …

17 regression  data-visualization  multiple-regression  scatterplot 

Eu tenho quatro variáveis ​​independentes distribuídas uniformemente a,b,c,da,b,c,da,b,c,d , cada uma em [0,1][0,1][0,1] . Quero calcular a distribuição de (a−d)2+4bc(a−d)2+4bc(a-d)^2+4bc . Calculei a distribuição de u2=4bcu2=4bcu_2=4bc para ser f2(u2)=−14lnu24f2(u2)=−14ln⁡u24f_2(u_2)=-\frac{1}{4}\ln\frac{u_2}{4} (daíu2∈(0,4]u2∈(0,4]u_2\in(0,4]) e deu1=(a−d)2u1=(a−d)2u_1=(a-d)^2para serf1(u1)=1−u1−−√u1−−√.f1(u1)=1−u1u1.f_1(u_1)=\frac{1-\sqrt{u_1}}{\sqrt{u_1}}.Agora, a distribuição de uma somau1+u2u1+u2u_1+u_2é ( são também independentes) f u 1 + u 2 ( x …

17 distributions  random-variable  pdf  uniform  mathematica 

Suponha que eu tenha distribuído dados normalmente. Para cada elemento dos dados, quero verificar quantos SDs estão longe da média. Pode haver um erro nos dados (provavelmente apenas um, mas também pode haver dois ou três) ou não, mas esse erro é basicamente o que estou procurando. Faz sentido excluir …

17 cross-validation  standard-deviation  mean  outliers 

Tenho como autoridade suprema 1 que Gibbs Sampling é um caso especial do algoritmo Metropolis-Hastings para amostragem de Markov Chain Monte Carlo. O algoritmo MH sempre fornece uma probabilidade de transição com a propriedade detalhada do balanço; Espero que Gibbs também deva. Então, onde, no seguinte caso simples, errei? Para …

17 mcmc  gibbs 

Esta é a minha primeira postagem no StackExchange, mas eu a uso como um recurso há um bom tempo, farei o possível para usar o formato apropriado e fazer as edições apropriadas. Além disso, esta é uma pergunta com várias partes. Eu não tinha certeza se deveria dividir a pergunta …

17 r  logistic  model-selection  regression-strategies