Qual é a diferença entre uma função de perda e uma função de decisão?

Vejo que ambas as funções fazem parte de métodos de mineração de dados, como os Gradress Boosting Regressors. Vejo que esses também são objetos separados.

Como é a relação entre os dois em geral?

Uma função de decisão é uma função que recebe um conjunto de dados como entrada e fornece uma decisão como saída. O que a decisão pode ser depende do problema em questão. Exemplos incluem:

• Problemas de estimativa: a "decisão" é a estimativa.
• Problemas no teste de hipóteses: a decisão é rejeitar ou não a hipótese nula.
• Problemas de classificação: a decisão é classificar uma nova observação (ou observações) em uma categoria.
• Problemas de seleção de modelos: a decisão é escolher um dos modelos candidatos.

Normalmente, há um número infinito de funções de decisão disponíveis para um problema. Se, por exemplo, estivermos interessados ​​em estimar a altura dos homens suecos com base em dez observações , podemos usar qualquer uma das seguintes funções de decisão d ( x ) :$\mathbf{x}=(x_1,x_2,\ldots,x_{10})$$d(\mathbf{x})$

• $d(\mathbf{x})=\frac{1}{10}\sum_{i=1}^{10}x_i$
• $d(\mathbf{x})=\mbox{median}(\mathbf{x})$
• $d(\mathbf{x})=\sqrt[10]{x_1\cdots x_{10}}$
• The function that always returns 1: $d(\mathbf{x})=1$, regardless of the value of $\mathbf{x}$. Silly, yes, but it is nevertheless a valid decision function.

How then can we determine which of these decision functions to use? One way is to use a loss function, which describes the loss (or cost) associated with all possible decisions. Different decision functions will tend to lead to different types of mistakes. The loss function tells us which type of mistakes we should be more concerned about. The best decision function is the function that yields the lowest expected loss. What is meant by expected loss depends on the setting (in particular, whether we are talking about frequentist or Bayesian statistics).

In summary:

• Decision functions are used to make decisions based on data.
• Loss functions are used to determine which decision function to use.

The loss function is what is minimized to obtain a model which is optimal in some sense. The model itself has a decision function which is used to predict.

For example, in SVM classifiers:

• loss function: minimizes error and squared norm of the separating hyperplane $\mathcal{L}(\mathbf{w}, \xi) =\frac{1}{2}\|\mathbf{w}\|^2 + C\sum_i \xi_i$
• decision function: signed distance to the separating hyperplane: $f(\mathbf{x}) = \mathbf{w}^T\mathbf{x} + b$