Perguntas com a marcação «convex»

Estou trabalhando no aprendizado de máquina teórico - no aprendizado de transferência, para ser específico - para meu doutorado. Por curiosidade, por que devo fazer um curso sobre otimização convexa? Que conclusões da otimização convexa posso usar em minha pesquisa sobre aprendizado teórico de máquinas?

27 machine-learning  optimization  convex  transfer-learning 

Dada uma função de custo convexa, usando o SGD para otimização, teremos um gradiente (vetor) em um determinado ponto durante o processo de otimização. Minha pergunta é, dado o ponto no convexo, o gradiente apenas aponta na direção em que a função aumenta / diminui mais rapidamente, ou o gradiente …

25 neural-networks  optimization  gradient-descent  sgd  convex 

Existe uma discussão semelhante aqui (a função de custo da rede neural não é convexa? ), Mas não consegui entender os pontos nas respostas e minha razão para perguntar novamente, esperando que isso esclareça alguns problemas: Se estou usando soma de função de custo diferença de quadrados, sou em última …

22 machine-learning  neural-networks  optimization  loss-functions  convex 

Li esta afirmação em um antigo exame verdadeiro / falso: Podemos obter várias soluções ótimas locais se resolvermos um problema de regressão linear, minimizando a soma dos erros ao quadrado usando a descida do gradiente. Solução: Falso Minha pergunta é: qual parte dessa pergunta está errada? Por que essa afirmação …

19 least-squares  gradient-descent  convex 

A função objetivo da Análise de Componentes Principais (PCA) é minimizar o erro de reconstrução na norma L2 (consulte a seção 2.12 aqui . Outra visão é tentar maximizar a variação na projeção. Também temos um excelente post aqui: Qual é a função objetivo do PCA ? ). Minha pergunta …

12 machine-learning  pca  optimization  convex 

Programei uma regressão logística usando o algoritmo IRLS . Gostaria de aplicar uma penalização do LASSO para selecionar automaticamente os recursos corretos. A cada iteração, o seguinte é resolvido: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Seja λλ\lambda um número real não negativo. Não estou penalizando a interceptação, como sugerido em Os elementos de. Aprendizagem …

12 logistic  generalized-linear-model  feature-selection  lasso  convex 

Meu professor provou que a segunda derivada da entropia cruzada é sempre positiva, de modo que a função de custo das redes neurais que usam entropia cruzada é convexa. Isso é verdade? Estou bastante confuso sobre isso, porque sempre aprendi que a função de custo da RNA é não convexa. …

9 neural-networks  convex 

A chegada de fótons a um pixel em um sensor de imagem é uma variável aleatória distribuída de Poisson, de modo que a entrada possa ser modelada como uma Poisson rv .X~ P o i s s o n ( λ )X∼Poisson(λ)X\sim \mathrm{Poisson}(\lambda) Como a entrada é Poisson, a média …

8 variance  poisson-distribution  probability-inequalities  convex