Perguntas com a marcação «loss-functions»

Eu já vi dois tipos de formulações de perda logística. Podemos mostrar facilmente que eles são idênticos, a única diferença é a definição do rótulo .yyy Formulação / notação 1, :y∈{0,+1}y∈{0,+1}y \in \{0, +1\} L(y,βTx)=−ylog(p)−(1−y)log(1−p)L(y,βTx)=−ylog⁡(p)−(1−y)log⁡(1−p) L(y,\beta^Tx)=-y\log(p)-(1-y)\log(1-p) onde , em que a função logística mapeia um número real para um intervalo …

23 logistic  generalized-linear-model  notation  loss-functions 

max(0,1−yi(w⊺xi+b))max(0,1−yi(w⊺xi+b))\max(0,1-y_i(w^\intercal x_i+b))12∥w∥2+C∑imax(0,1−yi(w⊺xi+b))12‖w‖2+C∑imax(0,1−yi(w⊺xi+b)) \frac{1}{2}\|w\|^2+C\sum_i\max(0,1-y_i(w^\intercal x_i+b)) ∥w∥2‖w‖2\|w\|^2max(0,1−yi(w⊺xi+b))max(0,1−yi(w⊺xi+b))\max(0,1-y_i(w^\intercal x_i+b)) No entanto, para o SVM de margem rígida, toda a função objetivo é apenas 12∥w∥212‖w‖2 \frac{1}{2}\|w\|^2 Isso significa que o SVM de margem rígida apenas minimiza um regularizador sem nenhuma função de perda? Isso parece muito estranho. Bem, se 12∥w∥212‖w‖2\frac{1}{2}\|w\|^2 é a função de …

23 svm  loss-functions 

Existe uma discussão semelhante aqui (a função de custo da rede neural não é convexa? ), Mas não consegui entender os pontos nas respostas e minha razão para perguntar novamente, esperando que isso esclareça alguns problemas: Se estou usando soma de função de custo diferença de quadrados, sou em última …

22 machine-learning  neural-networks  optimization  loss-functions  convex 

É possível controlar o custo da classificação incorreta no pacote R randomForest ? No meu próprio trabalho, os falsos negativos (por exemplo, falta de erro de uma pessoa ter uma doença) são muito mais caros do que os falsos positivos. O pacote rpart permite que o usuário controle os custos …

21 r  classification  random-forest  loss-functions  metric 

Esta pergunta já tem respostas aqui : Como a mudança na função de custo pode ser positiva? (1 resposta) O que devo fazer quando minha rede neural não aprende? (5 respostas) Fechado no mês passado . Estou treinando um modelo (Rede Neural Recorrente) para classificar 4 tipos de sequências. Ao …

21 machine-learning  neural-networks  loss-functions  rnn  training-error 

A idéia "fundamental" das estatísticas para estimar parâmetros é a máxima probabilidade . Gostaria de saber qual é a ideia correspondente no aprendizado de máquina. Qn 1. Seria justo dizer que a idéia 'fundamental' no aprendizado de máquina para estimar parâmetros é: 'Funções de Perda' [Nota: Tenho a impressão de …

19 machine-learning  maximum-likelihood  loss-functions  pac-learning 

Estou tentando entender o que é o objetivo da função de perda e não consigo entender direito. Portanto, até onde eu entendo, a função de perda é a introdução de algum tipo de métrica com a qual podemos medir o "custo" de uma decisão incorreta. Então, digamos que eu tenho …

19 machine-learning  loss-functions 

Eu trabalho em um domínio problemático em que as pessoas frequentemente relatam ROC-AUC ou AveP (precisão média). No entanto, recentemente encontrei trabalhos que otimizam a perda de log , enquanto outros relatam perda de dobradiça . Embora eu entenda como essas métricas são calculadas, estou tendo dificuldades para entender as …

18 loss-functions 

Com um plano prévio, os estimadores ML (freqüentista - máxima verossimilhança) e MAP (bayesiano - máxima a posteriori) coincidem. De maneira mais geral, porém, estou falando de estimadores de pontos derivados como otimizadores de alguma função de perda. Ou seja, (Bayesian) x (x^(. ) = argminE ( L ( X- …

17 bayesian  estimation  loss-functions  frequentist  decision-theory 

Estou tentando usar a perda ao quadrado para fazer a classificação binária em um conjunto de dados de brinquedo. Estou usando o mtcarsconjunto de dados, use milhas por galão e peso para prever o tipo de transmissão. O gráfico abaixo mostra os dois tipos de dados do tipo de transmissão …

16 r  machine-learning  logistic  optimization  loss-functions 

Estou tentando entender melhor a perda de log e como ela funciona, mas uma coisa que não consigo encontrar é colocar o número da perda de log em algum tipo de contexto. Se meu modelo tiver uma perda de log de 0,5, isso é bom? O que é considerado uma …

16 machine-learning  loss-functions  log-loss 

Estou tentando obter uma perspectiva global de algumas das idéias essenciais do aprendizado de máquina, e fiquei imaginando se existe um tratamento abrangente das diferentes noções de perda (quadrado, log, dobradiça, proxy, etc.). Eu estava pensando em algo como uma apresentação formal mais abrangente do excelente post de John Langford …

16 references  loss-functions 

Estou tentando entender a função de perda do Yolo v2: λcoord∑i=0S2∑j=0B1objij[(xi−x^i)2+(yi−y^i)2]+λcoord∑i=0S2∑j=0B1objij[(wi−−√−w^i−−√)2+(hi−−√−h^i−−√)2]+∑i=0S2∑j=0B1objij(Ci−C^i)2+λnoobj∑i=0S2∑j=0B1noobjij(Ci−C^i)2+∑i=0S21obji∑c∈classes(pi(c)−p^i(c))2λcoord∑i=0S2∑j=0B1ijobj[(xi−x^i)2+(yi−y^i)2]+λcoord∑i=0S2∑j=0B1ijobj[(wi−w^i)2+(hi−h^i)2]+∑i=0S2∑j=0B1ijobj(Ci−C^i)2+λnoobj∑i=0S2∑j=0B1ijnoobj(Ci−C^i)2+∑i=0S21iobj∑c∈classes(pi(c)−p^i(c))2\begin{align} &\lambda_{coord} \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}[(x_i-\hat{x}_i)^2 + (y_i-\hat{y}_i)^2 ] \\&+ \lambda_{coord} \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}[(\sqrt{w_i}-\sqrt{\hat{w}_i})^2 +(\sqrt{h_i}-\sqrt{\hat{h}_i})^2 ]\\ &+ \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}(C_i - \hat{C}_i)^2 + \lambda_{noobj}\sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{noobj}(C_i - \hat{C}_i)^2 \\ &+ \sum_{i=0}^{S^2} \mathbb{1}_{i}^{obj}\sum_{c \in classes}(p_i(c) - \hat{p}_i(c))^2 \\ \end{align} Se alguém puder detalhar a função.

15 neural-networks  loss-functions  object-detection  yolo 

A perda de dobradiça pode ser definida usando e a perda de log pode ser definida como log ( 1 + exp ( - y i w T x i ) )max ( 0 , 1 - yEuWTxEu)max(0 0,1-yEuWTxEu)\text{max}(0, 1-y_i\mathbf{w}^T\mathbf{x}_i)log ( 1 + exp( - yEuWTxEu) ))registro(1+exp⁡(-yEuWTxEu))\text{log}(1 + \exp(-y_i\mathbf{w}^T\mathbf{x}_i)) Tenho …

14 machine-learning  svm  loss-functions  computer-vision 

Eu sei que o k-means geralmente é otimizado usando a Maximização de Expectativas . No entanto, podemos otimizar sua função de perda da mesma maneira que otimizamos qualquer outra! Encontrei alguns trabalhos que realmente usam descida gradiente estocástica para médias k em larga escala, mas não consegui responder à minha …

14 optimization  k-means  expectation-maximization  loss-functions