Por que f beta score define beta assim?

10

Esta é a pontuação F beta:

F_{β} = (1 1 + β^{2}) \cdot \frac{p r e c Eu s Eu o n \cdot r e c uma eu eu}{(β^{2} \cdot p r e c Eu s Eu o n) + r e c uma eu eu}

$F_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}}$

O artigo da Wikipedia afirma que . $F_\beta$ "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision"

Eu não entendi a ideia. Por que definir assim? Posso definir assim: $\beta$ $F_\beta$

F_{β} = (1 1 + β) \cdot \frac{p r e c Eu s Eu o n \cdot r e c uma eu eu}{(β \cdot p r e c Eu s Eu o n) + r e c uma eu eu}

$F_\beta = (1 + \beta) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta \cdot \mathrm{precision}) + \mathrm{recall}}$

E como mostrar β times as much importance?

machine-learning precision-recall model-evaluation

— arrumado
fonte

2

Confira uma resposta mais recente abaixo que inclui o cálculo diferencial que aborda "por que o Beta ao quadrado e não o Beta".

— Javadba

19

Permitindo que seja o peso na primeira definição fornecida e o peso na segunda, as duas definições são equivalentes quando você define ; portanto, essas duas definições representam apenas diferenças notacionais na definição da pontuação . Eu já vi isso definido tanto da primeira maneira (por exemplo, na página da Wikipedia ) quanto da segunda (por exemplo, aqui ). $\beta$ $\tilde\beta$ $\tilde\beta = \beta^2$ $F_\beta$

O medida é obtida tomando a média harmónica de precisão e retirada, ou seja, o inverso da média do recíproco de precisão e o recíproco da Sensibilidade: $F_1$

\begin{aligned} F_{1} & = \frac{1}{\frac{1}{2} \frac{1}{precision} + \frac{1}{2} \frac{1}{recall}} \\ = 2 \frac{precision \cdot recall}{precision + recall} \end{aligned}

$\begin{align*} F_1 &= \frac{1}{\frac{1}{2}\frac{1}{\text{precision}}+\frac{1}{2}\frac{1}{\text{recall}}} \\ &= 2\frac{\text{precision}\cdot\text{recall}}{\text{precision}+\text{recall}} \end{align*}$

Em vez de usar pesos no denominador iguais e somados a 1 ( para recall e $\frac{1}{2}$ para precisão), podemos atribuir pesos que ainda somam 1, mas para os quais o peso na recuperação évezes maior que o peso na precisão ( $\frac{1}{2}$ $\beta$ para recall e $\frac{\beta}{\beta+1}$ para precisão). Isso produz sua segunda definição dapontuação: $\frac{1}{\beta+1}$ $F_\beta$

\begin{aligned} F_{β} & = \frac{1}{\frac{1}{β + 1} \frac{1}{precision} + \frac{β}{β + 1} \frac{1}{recall}} \\ = (1 + β) \frac{precision \cdot recall}{β \cdot precision + recall} \end{aligned}

$\begin{align*} F_\beta &= \frac{1}{\frac{1}{\beta+1}\frac{1}{\text{precision}}+\frac{\beta}{\beta+1}\frac{1}{\text{recall}}} \\ &= (1+\beta)\frac{\text{precision}\cdot\text{recall}}{\beta\cdot\text{precision}+\text{recall}} \end{align*}$

Novamente, se tivéssemos usado vez de aqui, teríamos chegado à sua primeira definição, portanto as diferenças entre as duas definições são apenas notacionais. $\beta^2$ $\beta$

— josliber
fonte

11

por que eles multiplicaram

com o termo precisão em vez do termo recall?

β

$\beta$

— Anwarvic

11

O cálculo diferencial que aborda "por que o Beta ao quadrado e não o Beta" está incluído em uma resposta mais recente abaixo.

— Javadba

@ Anwarvic Eles multiplicaram

com a recuperação inversa . Depois de factoring

e expandindo com

há uma

prazo esquerda

β

$\beta$

(1 + β)

$(1+ \beta)$

precision \cdot recall

$\text{precision} \cdot \text{recall}$

β \cdot precision

$\beta \cdot \text{precision}$

— user2740

6

O motivo para definir a pontuação F-beta com $\beta^{2}$ é exatamente a citação que você fornece (ou seja, querer atribuir $\beta$ vezes mais importância à recordação do que precisão), dada uma definição específica para o que significa atribuir $\beta$ vezes a importância da recordação que precisão.

A maneira particular de definir a importância relativa das duas métricas que leva à formulação de $\beta^{2}$ pode ser encontrada em Information Retrieval (Van Rijsbergen, 1979):

Definição: A importância relativa que um usuário atribui à precisão e ao recall é a razão $P/R$ na qual $\partial{E}/ \partial{R} = \partial{E}/ \partial{P}$ , onde $E = E(P, R)$ é a medida de eficácia baseada na precisão e recordar.

A motivação para este ser:

A maneira mais simples que conheço de quantificar isso é especificar a razão $P/R$ na qual o usuário está disposto a trocar um incremento de precisão por uma perda igual de recall.

Para ver que isto conduz à $\beta^{2}$ formulação que pode começar com a fórmula geral para a média harmónica ponderada de $P$ e $R$ e calcular as suas derivadas parciais em relação a $P$ e $R$ . A fonte citada usos $E$ (para "medir a eficácia"), que é apenas $1-F$ ea explicação é equivalente se considerarmos $E$ ou $F$ .

F = \frac{1 1}{(\frac{α}{P} + \frac{1 1 - α}{R})}

$\begin{equation} F = \frac{1}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})} \end{equation}$

\partial F / \partial P = \frac{α}{(\frac{α}{P} + \frac{1 1 - α}{R})^{2} P^{2}}

$\begin{equation} \partial{F}/\partial{P} = \frac{\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}P^{2}} \end{equation}$

\partial F / \partial R = \frac{1 1 - α}{(\frac{α}{P} + \frac{1 1 - α}{R})^{2} R^{2}}

$\begin{equation} \partial{F}/\partial{R} = \frac{1-\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}R^{2}} \end{equation}$

Agora, definindo os derivados iguais uns aos outros locais de restrição de uma sobre a relação entre $\alpha$ e a relação $P/R$ . Dado que desejamos atribuir $\beta$ vezes mais importância à recordação do que precisão, consideraremos a razão $R/P$ ¹ :

\partial F / \partial P = \partial F / \partial R \to \frac{α}{P^{2}} = \frac{1 1 - α}{R^{2}} \to \frac{R}{P} = \sqrt{\frac{1 1 - α}{α}}

$\begin{equation} \partial{F}/\partial{P} = \partial{F}/\partial{R} \rightarrow \frac{\alpha}{P^{2}} = \frac{1-\alpha}{R^{2}} \rightarrow \frac{R}{P} = \sqrt{\frac{1-\alpha}{\alpha}} \end{equation}$

Definir $\beta$ como essa razão e reorganizar para $\alpha$ fornece as ponderações em termos de $\beta^{2}$ :

β = \sqrt{\frac{1 1 - α}{α}} \to β^{2} = \frac{1 1 - α}{α} \to β^{2} + 1 1 = \frac{1 1}{α} \to α = \frac{1 1}{β^{2} + 1 1}

$\begin{equation} \beta = \sqrt{\frac{1-\alpha}{\alpha}} \rightarrow \beta^{2} = \frac{1-\alpha}{\alpha} \rightarrow \beta^{2} + 1 = \frac{1}{\alpha} \rightarrow \alpha = \frac{1}{\beta^{2} + 1} \end{equation}$

1 1 - α = 1 1 - \frac{1 1}{β^{2} + 1 1} \to \frac{β^{2}}{β^{2} + 1 1}

$\begin{equation} 1 - \alpha = 1 - \frac{1}{\beta^{2} + 1} \rightarrow \frac{\beta^{2}}{\beta^{2} + 1} \end{equation}$

Nós obtemos:

F = \frac{1 1}{(\frac{1 1}{β^{2} + 1 1} \frac{1 1}{P} + \frac{β^{2}}{β^{2} + 1 1} \frac{1 1}{R})}

$\begin{equation} F = \frac{1}{(\frac{1}{\beta^{2} + 1}\frac{1}{P} + \frac{\beta^{2}}{\beta^{2} + 1}\frac{1}{R})} \end{equation}$

Que pode ser reorganizado para fornecer o formulário em sua pergunta.

$\beta$ $\beta^{2}$ $\beta$ $\beta$ $\sqrt{\beta}$

Você pode definir uma pontuação como sugere, no entanto, esteja ciente de que, neste caso, a interpretação discutida não é mais válida ou está implicando alguma outra definição para quantificar a troca entre precisão e recall.

Notas de rodapé:

$P/R$

Referências:

— Uma pessoa
fonte

11

Essa deve ser a resposta aceita.

— Javadba

3

Para apontar algo rapidamente.

Isso significa que, à medida que o valor beta aumenta, você valoriza mais a precisão.

Na verdade, acho que é o contrário - já que maior é melhor na pontuação de F-β, você deseja que o denominador seja pequeno. Portanto, se você diminuir β, o modelo será menos punido por ter uma boa pontuação de precisão. Se você aumentar β, a pontuação F-β será mais punida quando a precisão for alta.

Se você deseja ponderar a pontuação F-β para que ela valorize a precisão, β deve ser 0 <β <1, onde β-> 0 valoriza apenas a precisão (o numerador se torna muito pequeno e a única coisa no denominador é recall, portanto, a pontuação F-β diminui à medida que a recuperação aumenta).

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

— H Froedge
fonte

0

A razão pela qual β ^ 2 é multiplicada com precisão é exatamente a maneira como os F-Scores são definidos. Isso significa que, à medida que o valor beta aumenta, você valoriza mais a precisão. Se você quiser multiplicá-lo com recall, isso também funcionaria, apenas significaria que, à medida que o valor beta aumenta, você valoriza o recall mais.

— Mahmoud
fonte

0

O valor beta maior que 1 significa que queremos que nosso modelo preste mais atenção ao modelo Recall comparado ao Precision. Por outro lado, um valor menor que 1 coloca mais ênfase na precisão.

— Mohit Sharma
fonte