Estatísticas e Big Data

Estou lendo Elementos de aprendizagem estatística e na página 12 (seção 2.3) um modelo linear é anotado como: Yˆ=XTβˆY^=XTβ^\widehat{Y} = X^{T} \widehat{\beta} ... onde é a transposição de um vetor de coluna dos preditores / variáveis ​​independentes / entradas. (Ele afirma anteriormente "todos os vetores são considerados vetores de coluna", …

12 regression  references  statistical-learning 

Estou trabalhando em algumas técnicas de agrupamento, nas quais, para um determinado agrupamento de vetores da dimensão d, assumo uma distribuição normal multivariada e calculo o vetor médio da dimensão d da amostra e a matriz de covariância da amostra. Então, quando tentando decidir se um novo, sem ser visto, …

12 clustering  multivariate-analysis  covariance  covariance-matrix  matrix-inverse 

Suponha que eu tenha uma matriz X que é n por p, ou seja, tem n observações, com cada observação no espaço p-dimensional. Como encontro a variação dessas n observações? No caso em que p = 1, só preciso usar a fórmula de variação regular. E os casos em que …

12 variance 

Existe uma maneira mais científica de determinar o número de dígitos significativos a serem relatados para uma média ou um intervalo de confiança em uma situação que é bastante padrão - por exemplo, o primeiro ano de aula na faculdade. Eu vi Número de figuras significativas para colocar em uma …

12 standard-deviation  error  reporting  communication 

Alguém pode explicar por que usamos Modelos Lineares de Log em termos muito leigos? Eu venho de formação em engenharia, e isso realmente está se tornando um assunto difícil para mim, estatísticas que são. Serei grato por uma resposta.

12 modeling  log-linear 

Digamos que tenho os seguintes dados e estou executando um modelo de regressão: df=data.frame(income=c(5,3,47,8,6,5), won=c(0,0,1,1,1,0), age=c(18,18,23,50,19,39), home=c(0,0,1,0,0,1)) Por um lado, corro um modelo linear para prever a renda: md1 = lm(income ~ age + home + home, data=df) Segundo, eu executo um modelo de logit para prever a variável ganha: …

12 r 

Alguém pode ilustrar, como Greg faz, mas com mais detalhes, como variáveis ​​aleatórias podem ser dependentes, mas têm covariância zero? Greg, um pôster aqui, dá um exemplo usando um círculo aqui . Alguém pode explicar esse processo com mais detalhes usando uma sequência de etapas que ilustram o processo em …

12 random-variable  covariance  independence 

Estou executando o seguinte teste de raiz unitária (Dickey-Fuller) em uma série temporal usando a ur.df()função no urcapacote. O comando é: summary(ur.df(d.Aus, type = "drift", 6)) A saída é: ############################################### # Augmented Dickey-Fuller Test Unit Root Test # ############################################### Test regression drift Call: lm(formula = z.diff ~ z.lag.1 + 1 …

12 r  time-series  hypothesis-testing  unit-root 

Eu pensei que a função de ligação canônica vem do parâmetro natural da família exponencial. Digamos, considere a família então é a função de link canônico. Tomemos a distribuição de Bernoulli como exemplo, temos Portanto, a função de link canônicog(⋅)g(⋅)g(\cdot)f(y,θ,ψ)=exp{yθ−b(θ)a(ψ)−c(y,ψ)}f(y,θ,ψ)=exp⁡{yθ−b(θ)a(ψ)−c(y,ψ)} f(y,\theta,\psi)=\exp\left\{\frac{y\theta-b(\theta)}{a(\psi)}-c(y,\psi)\right\} θ=θ(μ)θ=θ(μ)\theta=\theta(\mu)P(Y=y)=μy(1−μ)1−y=exp{ylogμ1−μ+log(1−μ)}P(Y=y)=μy(1−μ)1−y=exp⁡{ylog⁡μ1−μ+log⁡(1−μ)} P(Y=y)=\mu^{y}(1-\mu)^{1-y}=\exp\left\{y\log\frac{\mu}{1-\mu}+\log{(1-\mu)}\right\} g(μ)=logμ1−μg(μ)=log⁡μ1−μg(\mu)=\log\frac{\mu}{1-\mu} Mas quando vejo esse slide , …

12 generalized-linear-model  link-function 

Como defino a distribuição de uma variável aleatória modo que um empate de tenha correlação com , onde é um empate único de uma distribuição com função de distribuição cumulativa ? YYYYYYρρ\rhox1x1x_1x1x1x_1FX(x)FX(x)F_{X}(x)

12 distributions  probability  correlation  random-variable  conditional-probability 

O Stack Exchange, como todos sabemos, é uma coleção de sites de perguntas e respostas com tópicos diversificados. Assumindo que cada site seja independente um do outro, dadas as estatísticas que um usuário possui, como calcular sua "totalidade" em comparação com o próximo cara? Qual é a ferramenta estatística que …

12 ranking  diversity 

Eu sei que um erro do tipo II é onde H1 é verdadeiro, mas H0 não é rejeitado. Questão Como faço para calcular a probabilidade de um erro do tipo II envolvendo uma distribuição normal, onde o desvio padrão é conhecido?

12 probability  power-analysis  type-i-and-ii-errors 

Como título, preciso desenhar algo como isto: O ggplot, ou outros pacotes, se o ggplot não for capaz, pode ser usado para desenhar algo assim?

12 r  data-visualization  ggplot2  funnel-plot 

Quais algoritmos são usados ​​em geradores de números aleatórios modernos e de boa qualidade?

12 algorithms  random-variable  random-generation 

Ultimamente tenho pesquisado muito sobre o aprendizado por reforço. Eu segui o aprendizado de reforço de Sutton & Barto : uma introdução para a maior parte disso. Sei o que são os Processos de Decisão de Markov e como o aprendizado de Programação Dinâmica (DP), Monte Carlo e Diferença Temporal …

12 monte-carlo  reinforcement-learning  temporal-difference