Estatísticas e Big Data

Existem grupos de pesquisa trabalhando no aprendizado profundo para problemas de otimização combinatória?

13 optimization  deep-learning 

Considere o modelo de regressão linear y=Xβ+uy=Xβ+u\mathbf{y}=\mathbf{X\beta}+\mathbf{u} , u∼N(0,σ2I)u∼N(0,σ2I)\mathbf{u}\sim N(\mathbf{0},\sigma^2\mathbf{I}) , E(u∣X)=0E(u∣X)=0E(\mathbf{u}\mid\mathbf{X})=\mathbf{0} . Seja H0:σ20=σ2H0:σ02=σ2H_0: \sigma_0^2=\sigma^2 vs H1:σ20≠σ2H1:σ02≠σ2H_1: \sigma_0^2\neq\sigma^2 . Podemos deduzir que yTMXyσ2∼χ2(n−k)yTMXyσ2∼χ2(n−k)\frac{\mathbf{y}^T\mathbf{M_X}\mathbf{y}}{\sigma^2}\sim \chi^2(n-k), ondedim(X)=n×kdim(X)=n×kdim(\mathbf{X})=n\times k. EMXMX\mathbf{M_X}é a notação típico para a matriz aniquilador,MXy=y^MXy=y^\mathbf{M_X}\mathbf{y}=\hat{\mathbf{y}} , onde y é a variável dependenteyregrediram emXy^y^ \hat{\mathbf{y}}yy\mathbf{y}XX\mathbf{X} . O livro que estou lendo …

13 regression  hypothesis-testing  mathematical-statistics  inference 

Sei que esse tópico foi abordado várias vezes antes, por exemplo , aqui , mas ainda não tenho certeza da melhor maneira de interpretar minha saída de regressão. Eu tenho um conjunto de dados muito simples, constituído por uma coluna de valores x e uma coluna de valores y , …

13 regression  p-value  least-squares  aic 

Eu li que o laço de grupo é usado para seleção de variáveis ​​e esparsidade em um grupo de variáveis. Eu quero saber a intuição por trás dessa afirmação. Por que o laço de grupo é preferível ao laço? Por que o caminho da solução do laço de grupo não …

13 regression  feature-selection  lasso  regularization 

Esta pode ser uma explicação simples (espero mesmo assim). Fiz algumas análises de regressão no Matlab usando a caixa de ferramentas de regressão. No entanto, encontrei um estudo que afirma isso: "Usando a análise de regressão, foi possível estabelecer um modelo preditivo usando apenas quatro recursos sônicos que explicam 60% …

13 variance 

Ouvi (desculpe, não posso fornecer um link para um texto, algo que me foi dito) que uma curtose positiva alta de resíduos pode ser problemática para testes de hipóteses precisos e intervalos de confiança (e, portanto, problemas com inferência estatística). Isso é verdade e, se sim, por quê? Uma curtose …

13 statistical-significance  p-value  assumptions  kurtosis 

Eu usei a função h2o.glm () no R, que fornece uma tabela de contingência no resultado junto com outras estatísticas. A tabela de contingência é intitulada " Guia cruzada com base no limiar ideal de F1 " A Wikipedia define F1 Score ou F Score como a média harmônica de …

13 threshold 

Pesquisei no google e pesquisei stats.stackexchange, mas não consigo encontrar a fórmula para calcular um intervalo de confiança de 95% para um R2R2R^2 valor para uma regressão linear. Alguém pode fornecer? Melhor ainda, digamos que eu executei a regressão linear abaixo em R. Como eu calcularia um intervalo de confiança …

13 r  regression  confidence-interval  inference  r-squared 

Acabei de abordar as Redes Neurais Artificiais no curso de Aprendizado de Máquina do Coursera e gostaria de conhecer mais teorias por trás delas. Acho a motivação que eles imitam a biologia um tanto insatisfatória. Na superfície, parece que em cada nível substituímos as covariáveis ​​por uma combinação linear delas. …

13 machine-learning  neural-networks  theory 

Estou fazendo o curso de aprendizado de máquina de Andrew Ng e não consegui obter a resposta correta para essa pergunta após várias tentativas. Por favor, ajude a resolver isso, embora eu tenha passado pelo nível. Suponha que alunos tenham participado de alguma aula e a turma tenha um exame …

13 machine-learning  self-study  normalization 

costumávamos criar curva GINI usando a elevação criada com a ajuda da porcentagem de bom e ruim para a modelagem de scorecard. Mas o que eu estudei é que a curva ROC é criada usando a matriz Confusion com Especificidade (1 - Verdadeiro Negativo) como eixo xe sensibilidade (verdadeiro positivo) …

13 roc  gini 

De acordo com este tutorial sobre aprendizado profundo , a redução de peso (regularização) geralmente não é aplicada aos termos de viés b por quê? Qual é o significado (intuição) por trás disso?

13 machine-learning  neural-networks  bias  regularization 

A função lm em R pode imprimir a covariância estimada dos coeficientes de regressão. O que essas informações nos fornecem? Agora podemos interpretar melhor o modelo ou diagnosticar problemas que possam estar presentes no modelo?

13 r  multiple-regression  least-squares 

Para cluster hierárquico, geralmente vejo as duas "métricas" a seguir (elas não estão falando exatamente) para medir a distância entre duas variáveis ​​aleatórias e : \ newcommand {\ Cor} {\ mathrm {Cor}} \ begin {align} d_1 (X, Y) & = 1- | \ COR (X, Y) |, \\ d_2 (X, …

13 correlation  clustering  distance  metric 

Eu sei que a média da soma das variáveis ​​independentes é a soma das médias de cada variável independente. Isso também se aplica a variáveis ​​dependentes?

13 mean  non-independent