Qual é a melhor maneira de lembrar a diferença entre sensibilidade, especificidade, precisão, exatidão e recall?

49

Apesar de ter visto esses termos 502847894789 vezes, não consigo me lembrar da diferença entre sensibilidade, especificidade, precisão, exatidão e recordação. Eles são conceitos bastante simples, mas os nomes não são muito intuitivos para mim, então eu os confundi. Qual é uma boa maneira de pensar sobre esses conceitos para que os nomes comecem a fazer sentido?

Dito de outra forma, por que esses nomes foram escolhidos para esses conceitos, em oposição a outros nomes?

terminology accuracy sensitivity-specificity

— Jessica
fonte

3

A melhor maneira de lembrar é recordar um estudo da vida real em que esta ou aquela característica estava em foco. Ou seja, a carne contextual ajuda.

— ttnphns

1

Para mim, a melhor maneira de lembrar esses conceitos é através da tabela de contingência 2 × 2 no link da Wikipedia .

— Randel 31/10

1

@ttnphns: "carne contextual" é um ótimo erro de digitação!

— Ameba diz Reinstate Monica

4

Lembre-se de sensibilidade, aí você tem um a menos para lidar. :)

— Penguin_Knight

1

Apenas para mantê-lo aqui, este post oferece uma boa explicação: uberpython.wordpress.com/2012/01/01/…

— Maxim.K

9

Pessoalmente, lembro-me da diferença entre precisão e recall (também conhecida como sensibilidade) pensando em recuperação de informações:

Rechamada é a fração dos documentos relevantes para a consulta recuperada com êxito, daí o nome (em inglês recall = a ação de lembrar de algo).
Precisão é a fração dos documentos recuperados relevantes para a necessidade de informações do usuário. De alguma forma, você tira algumas fotos e, se a maioria delas tem o objetivo (documentos relevantes), você tem uma alta precisão, independentemente de quantas fotos você disparou (número de documentos recuperados).

— Franck Dernoncourt
fonte

32

Para precisão e recuperação, cada um é o verdadeiro positivo (TP) como numerador dividido por um denominador diferente.

Recisão P : TP / P redicted positivo
R ecall: TP / R eal positivo

— barba
fonte

No entanto, você precisa se lembrar da definição de TP, TN, FN e FP para que esta resposta seja útil.

— nbro 11/06

15

Os mnemônicos eliminam ordenadamente o único inimigo do homem: armazenamento cerebral insuficiente.

Há SNOUT SPIN:

Um S e n teste sitive, quando N regras egative OUT doença
Um Sp teste ecific, quando P ositive, regras EM uma doença.

Imagino um porco girando em uma centrífuga, talvez em preparação para ir ao espaço, para me ajudar a lembrar dessa mnemônica. Zumbir o tema de Tail Spin com as palavras adequadamente alteradas pode ajudar os que estão inclinados musicalmente a partir de uma certa geração.

Não conheço outros.

— Dimitriy V. Masterov
fonte

As regras SNOUT e SPIN são enganosamente simples. Você realmente deve ter boas estimativas de sensibilidade, especificidade e prevalência antes de confiar em um resultado positivo ou negativo, não importa o quão sensível ou específico seja o teste. Confira este site: kennis-research.shinyapps.io/Bayes-App . Por exemplo, inserindo uma prevalência de 5 por 1.000. sensibilidade = 0,90, especificidade = 0,99 produz (via Regra de Bayes) um valor preditivo positivo relativamente baixo de 0,2857.

— RobertF 29/09

5

No contexto da classificação binária:

Precisão - Quantas instâncias o modelo rotulou corretamente?

Lembre-se - Com que frequência o modelo conseguiu encontrar pontos positivos?

Precisão - Quão crível é o modelo quando diz que uma instância é positiva?

— peace_within_reach
fonte

1

Criei uma tabela de confusão interativa para me ajudar a entender a diferença entre estes termos: http://zyxue.github.io/2018/05/15/on-the-p-value.html#interactive-confusion-table . Eu posto o link aqui caso alguém ache útil também.

— zyxue
fonte

0

Eu uso a palavra TARP para lembrar a diferença entre exatidão e precisão.

TARP: Verdadeiro = Precisão, Relativo = Precisão.

A precisão mede a proximidade da medida com o valor VERDADEIRO, pois o valor padrão / aceito é a VERDADE.

A precisão mede quão próximas as medidas são relativas umas das outras ou quão baixa é a dispersão entre várias medidas.

Precisão é verdade, precisão é relatividade.

Espero que isto ajude.

— Dillan Prasad
fonte