Estatísticas e Big Data

É verdade que, para duas variáveis ​​aleatórias e ,AAABBB E(A∣B)=E(B∣A)E(A)E(B)?E(A∣B)=E(B∣A)E(A)E(B)?E(A\mid B)=E(B\mid A)\frac{E(A)}{E(B)}?

18 bayesian  mathematical-statistics 

Considere a identidade elementar da variação: Var(X)===E[(X−E[X])2]...E[X2]−(E[X])2Var(X)=E[(X−E[X])2]=...=E[X2]−(E[X])2 \begin{eqnarray} Var(X) &=& E[(X - E[X])^2]\\ &=& ...\\ &=& E[X^2] - (E[X])^2 \end{eqnarray} É uma simples manipulação algébrica da definição de um momento central em momentos não centrais. Permite manipulação conveniente de em outros contextos. Ele também permite o cálculo da variação por …

18 variance  descriptive-statistics  intuition 

Estou tentando entender o significado matemático dos modelos de classificação não linear: Acabei de ler um artigo falando sobre redes neurais sendo um modelo de classificação não linear. Mas eu apenas percebo que: A primeira camada: h1= x1∗ wx 1 h 1+ x2∗ wx 1 h 2h1=x1∗wx1h1+x2∗wx1h2h_1=x_1∗w_{x1h1}+x_2∗w_{x1h2} h2= x1∗ wx …

18 neural-networks  nonlinear-regression  nonlinear 

Por este site psicometria Eu li que [A] uma variação de nível profundo é um conceito mais fundamental que o desvio padrão. O site realmente não explica mais por que a variação é mais fundamental que o desvio padrão, mas me lembrou que li algumas coisas semelhantes neste site. Por …

18 variance  standard-deviation 

Estou gastando algum tempo aprendendo aprendizado de máquina (desculpe a recursão :) e não pude deixar de ficar intrigado com a regra geral de escolher Gradient Descent em vez de resolver equações diretas para calcular coeficientes de regressão, no caso de regressão linear multivariada. Regra prática: se o número de …

18 machine-learning  multiple-regression  large-data 

Estou estudando estatística e sempre encontro fórmulas contendo o loge estou sempre confuso se devo interpretá-lo como o significado padrão da logbase 10, ou seja, se nas estatísticas o símbolo log geralmente é assumido como o logaritmo natural ln. Em particular, estou estudando a estimativa de frequência de Good-Turing como …

18 mathematical-statistics  notation  logarithm 

Estou tentando ajustar uma regressão para explicar o número de homicídios em cada distrito de uma cidade. Embora eu saiba que meus dados seguem uma distribuição Poisson, tentei ajustar um OLS como este: l o g( y+ 1 ) = α + βX+ ϵeuog(y+1)=α+βX+ϵlog(y+1) = \alpha + \beta X + …

18 regression  least-squares  poisson-regression 

Eu quero comparar duas imagens de rostos. Eu calculei seus histogramas LBP. Então agora eu preciso comparar esses dois histogramas e obter algo que diga o quanto esses histogramas são iguais (0 - 100%). Existem várias maneiras de resolver essa tarefa, mas os autores do método LBP enfatizam (Descrição da …

18 chi-squared  histogram  image-processing 

Deixe- BtBtB_t ser um movimento browniano padrão. Seja Ej,nEj,nE_{j, n} denotar o evento {Bt=0 for some j−12n≤t≤j2n},{Bt=0 for some j−12n≤t≤j2n},\left\{B_t = 0 \text{ for some }{{j-1}\over{2^n}} \le t \le {j\over{2^n}}\right\},e deixeKn=∑j=2n+122n1Ej,n,Kn=∑j=2n+122n1Ej,n,K_n = \sum_{j = 2^n + 1}^{2^{2n}} 1_{E_{j,n}},que111indica a função do indicador. Existeρ>0ρ>0\rho > 0tal que paraP{Kn≥ρ2n}≥ρP{Kn≥ρ2n}≥ρ\mathbb{P}\{K_n \ge \rho2^{n}\} \ge …

18 probability  self-study  moments  distributions  brownian 

Depois de ler "Explain or to Predict" (2010), de Galit Shmueli, fico intrigado com uma aparente contradição. Existem três premissas, Escolha do modelo com base no AIC versus no BIC (final da p. 300 - início da p. 301): basta colocar o AIC para selecionar um modelo destinado à previsão, …

18 forecasting  model-selection  feature-selection  aic  bic 

Estou tentando comparar a complexidade computacional / velocidade de estimativa de três grupos de métodos para regressão linear, conforme distinguido em Hastie et al. "Elementos da aprendizagem estatística" (2ª ed.), Capítulo 3: Seleção de subconjunto Métodos de encolhimento Métodos usando direções de entrada derivadas (PCR, PLS) A comparação pode ser …

18 machine-learning  estimation  feature-selection  algorithms  time-complexity 

Eu tenho um histórico de estatística no nível de pós-graduação introdutório (suponha que eu conheça estatística e probabilidade matemática em nível de graduação (por exemplo, Wackerly et al., Probabilidade de Ross) e possua algum conhecimento da teoria da medida). Recentemente, iniciei um trabalho de desenho experimental e relatórios estatísticos em …

18 effect-size  group-differences 

Vamos e , . Qual é a expectativa de como ?X1∼U[0,1]X1∼U[0,1]X_1 \sim U[0,1]Xi∼U[Xi−1,1]Xi∼U[Xi−1,1]X_i \sim U[X_{i - 1}, 1]i=2,3,...i=2,3,...i = 2, 3,...X1X2⋯XnX1X2⋯XnX_1 X_2 \cdots X_nn→∞n→∞n \rightarrow \infty

18 mathematical-statistics  random-variable  expected-value 

Eu sei que, para acessar o desempenho do classificador, tenho que dividir os dados em conjunto de treinamento / teste. Mas lendo isso : Ao avaliar configurações diferentes ("hiperparâmetros") para estimadores, como a configuração C que deve ser definida manualmente para um SVM, ainda existe o risco de sobreajuste no …

18 machine-learning  cross-validation 

Vi várias vezes as pessoas rejeitarem o nulo em um teste Dickey-Fuller aumentado e depois afirmarem que elas mostram que suas séries são estacionárias (infelizmente, não posso mostrar as fontes dessas declarações, mas imagino que existam declarações semelhantes aqui e ali em um ou outro diário). Eu afirmo que é …

18 time-series  unit-root  stationarity  augmented-dickey-fuller