O ensino padrão diz que sensibilidade e especificidade são propriedades do teste e são independentes da prevalência. Mas isso não é apenas uma suposição?

Os princípios da medicina interna de Harrison

Há muito tempo se afirma que a sensibilidade e a especificidade são parâmetros independentes da prevalência da precisão do teste, e muitos textos ainda fazem essa afirmação. Essa suposição estatisticamente útil, no entanto, é clinicamente simplista. ... a sensibilidade do teste provavelmente será maior em pacientes hospitalizados e a especificidade do teste maior em pacientes ambulatoriais.

(A prevalência é geralmente mais alta em pacientes internados do que em pacientes ambulatoriais)

Existe uma relação matemática ou gráfica aproximada entre esses parâmetros?

Mesmo este link chama isso de 'simplificação'. Por quê?

Edit: Eu sei como a sensibilidade é definida. Não há termo de prevalência envolvido, como mencionado nas respostas. Eu mesmo afirmei que essas propriedades do teste não são afetadas pela população usada, até que me deparei com essa afirmação, daí a pergunta. Mas suponho que essa confusão esteja surgindo não devido à definição, mas ao cálculo prático desses valores. A especificidade e a sensibilidade são calculadas usando tabelas 2x2. A prevalência da população de referência aqui é importante? É a isso que eles estão se referindo? Se sim, qual é a função?

Embora as respostas de @ Tim ♦ e @ gung ♦ cubram praticamente tudo, tentarei sintetizá-las em uma única e fornecer esclarecimentos adicionais.

O contexto das linhas citadas pode se referir principalmente a testes clínicos na forma de um determinado limiar, como é mais comum. Imagine uma doença e tudo além de D, incluindo o estado saudável referido como D c . Nós, para o nosso teste, gostaríamos de encontrar alguma medida de proxy que nos permita obter uma boa previsão para D. (1) A razão pela qual não obtemos especificidade / sensibilidade absolutas é que os valores de nossa quantidade de proxy não se correlacionam perfeitamente com o estado da doença, mas apenas geralmente se associa a ele e, portanto, em medições individuais, podemos ter uma chance dessa quantidade cruzar nosso limiar para D $D$$D$$D^c$$D$$D^c$indivíduos e vice-versa. Por uma questão de clareza, vamos assumir um modelo gaussiano de variabilidade.

Digamos que estamos usando como quantidade proxy. Se x tiver sido bem escolhido, então E [ x D ] deverá ser maior que E [ x D c ] ( E é o operador de valor esperado). Agora, o problema surge quando percebemos que D é uma situação composta (o mesmo acontece com D c ), na verdade composta de 3 graus de gravidade D 1 , D 2 , D 3 , cada um com um valor esperado progressivamente crescente para x . Para um único indivíduo, selecionado entre$x$$x$$E[x_D]$$E[x_{Dc}]$$E$$D$$D^c$$D_1$$D_2$$D_3$$x$Categoria D ou da categoria D c , as probabilidades de o 'teste' se tornar positivo ou não dependerão do valor limite escolhido. Digamos que escolhemos x T com base no estudo de uma amostra verdadeiramente aleatória comindivíduos D e D c . Nosso x T causará alguns falsos positivos e negativos. Se selecionarmos umapessoaaleatoriamente, a probabilidade que governa seuvalorse dado pelo gráfico verde e a de umapessoaescolhida aleatoriamentepelo gráfico vermelho.$D$$D^c$$x_T$$D$$D^c$$x_T$$D$$x$$D_c$

Os números reais obtidos dependerão dos números reais de indivíduos e mas a especificidade e a sensibilidade resultantes não. Seja uma função cumulativa de probabilidade. Então, para a prevalência de da doença , aqui está uma tabela 2x2, como seria de esperar do caso geral, quando tentamos realmente ver como o nosso teste se comporta na população combinada.$D$$D^c$$F()$$p$$D$

Os números reais são dependentes de , mas a sensibilidade e a especificidade são independentes de . Mas, ambos são dependentes de e . Portanto, todos os fatores que os afetam definitivamente mudarão essas métricas. Se estivéssemos, por exemplo, trabalhando na UTI, nosso seria substituído por e, se pacientes ambulatoriais, substituído por . É uma questão separada que, no hospital, a prevalência também é diferente,p F D F D c F D F D 3 F D 1 D c D c x D D c F D F D c D F $p$$p$$F_D$$F_{Dc}$$F_D$$F_{D3}$$F_{D1}$mas não é a prevalência diferente que está causando diferenças nas sensibilidades e especificidades, mas a distribuição diferente, uma vez que o modelo no qual o limiar foi definido não era aplicável à população que aparecia como paciente ambulatorial ou internado . Você pode ir em frente e dividir em várias subpopulações, porque a subpartição de internamento de também terá um elevado devido a outras razões (uma vez que a maioria dos proxies também é 'elevada' em outras condições graves). A quebra da população em subpopulação explica a mudança na sensibilidade, enquanto a da população explica a mudança na especificidade (por mudanças correspondentes em e$D^c$$D^c$$x$$D$$D^c$$F_D$$F_{Dc}$ ). Isto é o que o gráfico composto realmente compreende. Cada uma das cores terá seu próprio e, portanto, contanto que seja diferente do no qual a sensibilidade e a especificidade originais foram calculadas, essas métricas serão alteradas.$D$$F$$F$

Exemplo

Suponha uma população de 11550 com 10000 Dc, 500,750,300 D1, D2, D3, respectivamente. A parte comentada é o código usado para os gráficos acima.

set.seed(12345)
dc<-rnorm(10000,mean = 9, sd = 3)
d1<-rnorm(500,mean = 15,sd=2)
d2<-rnorm(750,mean=17,sd=2)
d3<-rnorm(300,mean=20,sd=2)
d<-cbind(c(d1,d2,d3),c(rep('1',500),rep('2',750),rep('3',300)))
library(ggplot2)
#ggplot(data.frame(dc))+geom_density(aes(x=dc),alpha=0.5,fill='green')+geom_density(data=data.frame(c(d1,d2,d3)),aes(x=c(d1,d2,d3)),alpha=0.5, fill='red')+geom_vline(xintercept = 13.5,color='black',size=2)+scale_x_continuous(name='Values for x',breaks=c(mean(dc),mean(as.numeric(d[,1])),13.5),labels=c('x_dc','x_d','x_T'))

#ggplot(data.frame(d))+geom_density(aes(x=as.numeric(d[,1]),..count..,fill=d[,2]),position='stack',alpha=0.5)+xlab('x-values')

Podemos calcular facilmente os meios x para as várias populações, incluindo Dc, D1, D2, D3 e o composto D.

mean(dc) 
mean(d1) 
mean(d2) 
mean(d3) 
mean(as.numeric(d[,1]))

> mean(dc) [1] 8.997931
> mean(d1) [1] 14.95559
> mean(d2) [1] 17.01523
> mean(d3) [1] 19.76903
> mean(as.numeric(d[,1])) [1] 16.88382

Para obter uma tabela 2x2 para o nosso caso de teste original, primeiro definimos um limite com base nos dados (que em um caso real seriam definidos após a execução do teste, como mostra o @gung). De qualquer forma, assumindo um limite de 13,5, obtemos a seguinte sensibilidade e especificidade quando computados em toda a população.

sdc<-sample(dc,0.1*length(dc)) 
sdcomposite<-sample(c(d1,d2,d3),0.1*length(c(d1,d2,d3))) 
threshold<-13.5 
truepositive<-sum(sdcomposite>13.5) 
truenegative<-sum(sdc<=13.5) 
falsepositive<-sum(sdc>13.5) 
falsenegative<-sum(sdcomposite<=13.5) 
print(c(truepositive,truenegative,falsepositive,falsenegative)) 
sensitivity<-truepositive/length(sdcomposite) 
specificity<-truenegative/length(sdc) 
print(c(sensitivity,specificity))

> print(c(truepositive,truenegative,falsepositive,falsenegative)) [1]139 928  72  16
> print(c(sensitivity,specificity)) [1] 0.8967742 0.9280000

Vamos supor que estamos trabalhando com pacientes ambulatoriais e só temos pacientes doentes na proporção D1, ou estamos trabalhando na UTI onde só temos D3. (para um caso mais geral, também precisamos dividir o componente Dc). Como nossa sensibilidade e especificidade mudam? Alterando a prevalência (ou seja, alterando a proporção relativa de pacientes pertencentes a ambos os casos, não alteramos a especificidade e a sensibilidade. De fato, acontece que essa prevalência também muda com a alteração da distribuição)

sdc<-sample(dc,0.1*length(dc)) 
sd1<-sample(d1,0.1*length(d1)) 
truepositive<-sum(sd1>13.5) 
truenegative<-sum(sdc<=13.5) 
falsepositive<-sum(sdc>13.5) 
falsenegative<-sum(sd1<=13.5) 
print(c(truepositive,truenegative,falsepositive,falsenegative)) 
sensitivity1<-truepositive/length(sd1) 
specificity1<-truenegative/length(sdc) 
print(c(sensitivity1,specificity1)) 
sdc<-sample(dc,0.1*length(dc)) 
sd3<-sample(d3,0.1*length(d3)) 
truepositive<-sum(sd3>13.5) 
truenegative<-sum(sdc<=13.5) 
falsepositive<-sum(sdc>13.5) 
falsenegative<-sum(sd3<=13.5) 
print(c(truepositive,truenegative,falsepositive,falsenegative)) 
sensitivity3<-truepositive/length(sd3) 
specificity3<-truenegative/length(sdc) 
print(c(sensitivity3,specificity3))

> print(c(truepositive,truenegative,falsepositive,falsenegative)) [1]  38 931  69  12
> print(c(sensitivity1,specificity1)) [1] 0.760 0.931
> print(c(truepositive,truenegative,falsepositive,falsenegative)) [1]  30 944  56   0
> print(c(sensitivity3,specificity3)) [1] 1.000 0.944

Para resumir, um gráfico para mostrar a mudança de sensibilidade (a especificidade seguiria uma tendência semelhante se também compuséssemos a população Dc a partir de subpopulações) com média variável x para a população, aqui está um gráfico

df<-data.frame(V1=c(sensitivity,sensitivity1,sensitivity3),V2=c(mean(c(d1,d2,d3)),mean(d1),mean(d3))) 
ggplot(df)+geom_point(aes(x=V2,y=V1),size=2)+geom_line(aes(x=V2,y=V1))

1. $D$

Primeiro, vale a pena reconhecer que você normalmente não pode alterar a sensibilidade independentemente da especificidade e vice-versa. Este é o ponto de uma curva ROC. Dada a natureza do processo de geração de dados e seus dados e modelo específicos, você sempre ficará preso a uma troca entre sensibilidade e especificidade. Obviamente, você preferiria ter 100% de sensibilidade e 100% de especificidade ao mesmo tempo, mas normalmente não pode. Você pode obter melhor sensibilidade, mas às custas de uma pior especificidade ou melhor especificidade, mas às custas da pior sensibilidade. A curva ROC mostra o conjunto de trocas que você é forçado a escolher. (Algumas notas: 1. Às vezes, você pode ganhar em uma dimensão sem perder nada na outra, porque existe uma lacuna no seu conjunto de dados, mas isso é principalmente ilusório; 2.A curva ROC é a sensibilidade em função da especificidade 1, plotando sensibilidade versus especificidade seria uma curva ROC refletida.)

De qualquer forma, como a aparente sensibilidade e especificidade podem mudar com a prevalência? Esse é um problema no qual ajuda a simular e jogar com alguns dados para ver como isso pode funcionar na prática. Vamos imaginar que um modelo seja adequado a um conjunto de dados razoavelmente grande que tenha uma prevalência específica e um limite seja definido no eixo x ¹ . Posteriormente, o desempenho desse teste é calculado com amostras com prevalências substancialmente diferentes (e, portanto, valores x diferentes). O resultado é que o mesmo modelo, usando o mesmo limite, terá desempenho diferente quando aplicado a conjuntos de dados com prevalências diferentes.

library(caret)  # we'll use these packages
library(binom)
  # we'll use this function to convert log odds to probabilities
lo2p = function(lo){ exp(lo)/(1+exp(lo)) }

##### training dataset for original model
set.seed(734)                     # these make the examples exactly reproducible
Nt = 1000
xt = rnorm(Nt, mean=5, sd=1)      # this is the distribution of X
lo = -1.386 + .308*xt             # this is the data generating process
pt = lo2p(lo)
yt = rbinom(Nt, size=1, prob=pt)
mt = glm(yt~xt, family=binomial)
summary(mt)
# ...
# Coefficients:
#             Estimate Std. Error z value Pr(>|z|)    
# (Intercept) -1.16736    0.32794  -3.560 0.000371 ***
# xt           0.24980    0.06429   3.886 0.000102 ***
# ...
#     Null deviance: 1384.5  on 999  degrees of freedom
# Residual deviance: 1369.1  on 998  degrees of freedom
# AIC: 1373.1

## determine threshold
# prob(Y) = 50%, where log odds = 0, so:
-coef(mt)[1]/coef(mt)[2]  # 4.673159
threshold = 4.7  # a simple round number
classt    = ifelse(xt>threshold, 1, 0)
tabt      = table(classt, yt)[2:1,2:1]

confusionMatrix(tabt)
#       yt
# classt   1   0
#      1 346 279
#      0 175 200
#                                           
#                Accuracy : 0.546           
#                     ...                                          
#             Sensitivity : 0.6641          
#             Specificity : 0.4175          
#          Pos Pred Value : 0.5536          
#          Neg Pred Value : 0.5333          
#              Prevalence : 0.5210          


##### high prevalence dataset from hospital
set.seed(4528)
Nh = 500
xh = rnorm(Nh, mean=6, sd=1)  # a different distribution of X
lo = -1.386 + .308*xh         # but the same data generating process
ph = lo2p(lo)
yh = rbinom(Nh, size=1, prob=ph)
classh = ifelse(xh>threshold, 1, 0)  # the same threshold is used
tabh   = table(classh, yh)[2:1,2:1]

confusionMatrix(tabh)
#       yh
# classh   1   0
#      1 284 163
#      0  20  33
#                                           
#                Accuracy : 0.634           
#                     ...
#             Sensitivity : 0.9342          
#             Specificity : 0.1684          
#          Pos Pred Value : 0.6353          
#          Neg Pred Value : 0.6226          
#              Prevalence : 0.6080          


##### low prevalence dataset from outpatients
set.seed(1027)
Nl = 500
xl = rnorm(Nl, mean=3, sd=1)
lo = -1.386 + .308*xl
pl = lo2p(lo)
yl = rbinom(Nl, size=1, prob=pl)
classl = ifelse(xl>threshold, 1, 0)
tabl   = table(classl, yl)[2:1,2:1]

confusionMatrix(tabl)
#       yl
# classl   1   0
#      1   9  14
#      0 190 287
#                                           
#                Accuracy : 0.592           
#                     ...
#             Sensitivity : 0.04523         
#             Specificity : 0.95349         
#          Pos Pred Value : 0.39130         
#          Neg Pred Value : 0.60168         
#              Prevalence : 0.39800         


##### sensitivities
binom.confint(346, 521, method="e")
#   method   x   n      mean     lower    upper
# 1  exact 346 521 0.6641075 0.6217484 0.704592
binom.confint(284, 304, method="e")
#   method   x   n      mean   lower     upper
# 1  exact 284 304 0.9342105 0.90022 0.9593543
binom.confint(  9, 199, method="e")
#   method x   n       mean      lower      upper
# 1  exact 9 199 0.04522613 0.02088589 0.08411464

##### specificities
binom.confint(200, 479, method="e")
#   method   x   n      mean     lower     upper
# 1  exact 200 479 0.4175365 0.3729575 0.4631398
binom.confint( 33, 196, method="e")
#   method  x   n      mean     lower     upper
# 1  exact 33 196 0.1683673 0.1188206 0.2282441
binom.confint(287, 301, method="e")
#   method   x   n      mean     lower     upper
# 1  exact 287 301 0.9534884 0.9231921 0.9743417

Aqui estão as sensibilidades e especificidades em função das prevalências, com intervalos de confiança exatos de 95%:

Então, o que está acontecendo aqui? Considere que uma regressão logística prototípica pode se parecer com a figura abaixo. Observe que toda a 'ação' está ocorrendo no intervalo [4, 6] no eixo x. Os dados abaixo terão uma prevalência muito baixa e o modelo mostrará baixa discriminação e sensibilidade. Os dados acima desse intervalo terão uma prevalência muito alta, mas o modelo novamente não discriminará bem e terá pouca especificidade.

Para ajudar a entender como isso pode acontecer, considere o teste da Alanina transaminase para determinar se o fígado do paciente está falhando ². A idéia é que o fígado normalmente use ALT, mas se o fígado parar de funcionar, o ALT será despejado na corrente sanguínea. Portanto, se o nível de ALT na corrente sanguínea de um paciente estiver acima de algum limite, isso implica que o fígado está falhando. Se você coletar uma amostra com alta prevalência de insuficiência hepática, estará coletando uma amostra com altos níveis de ALT no sangue. Assim, você terá mais pacientes acima do limite. Nem todo mundo com níveis elevados de ALT no sangue terá insuficiência hepática - para alguns pacientes, haverá outra causa. Mas aqueles com insuficiência hepática devem ser apanhados. Isso leva a uma maior sensibilidade. Da mesma forma, nem todos os pacientes com níveis normais de ALT têm fígados saudáveis, mas uma amostra com baixa prevalência terá níveis mais baixos de ALT e mais pacientes passam no teste. Aqueles cujos fígados não são t falhar, mas os que tiverem níveis normais de ALT serão perdidos. Isso leva a menor sensibilidade, mas maior especificidade.

De maneira mais geral, a idéia de um exame médico é que algo ou outro é um correlato de um estado de doença do qual você gostaria de ter medidas diretas, mas não pode. Obter uma medida do correlato fornece informações sobre o estado da doença. Um teste (potencial) onde isso não é verdade não teria valor e não seria usado. Assim, na prática, amostras de maior prevalência devem ter uma distribuição do correlato com valores mais anormais, levando a uma maior sensibilidade e vice-versa. (Observe que o correlato não precisa ser uma causa da doença; no exemplo ALT, é um efeito; em outros exemplos, tanto a doença quanto o correlato podem ser efeitos de uma causa comum, etc.)

<sub>1. Isso é realmente bastante comum na medicina. Considere que o colesterol deve ser <200, a pressão arterial sistólica deve ser <140, etc. Esses não são realmente 'testes' em si, mas existem muitos testes que funcionam exatamente assim. Para algumas discussões (talvez distantes) relacionadas a limites, pode ser útil ler minhas respostas para Os limites 0-1 são sempre equivalentes aos limites do eixo x? e Por que o número de falsos positivos independe do tamanho da amostra, se usarmos valores-p para comparar dois conjuntos de dados independentes?
2. Esteja ciente de que eu não sou médico, e este exemplo pode estar muito mal. Pergunte a um médico real se deseja informações precisas sobre a função hepática, seus testes e assuntos relacionados.</sub>

Como já foi dito por outros, sensibilidade e especificidade não dependem da prevalência. Sensibilidade é a proporção de verdadeiros positivos entre todos os positivos e especificidade é a proporção de verdadeiros negativos entre todos os negativos. Portanto, se a sensibilidade for 90%, o teste estará correto em 90% dos casos positivos. Obviamente, 90% de algo menor e 90% de algo maior ainda é 90% ...

Portanto, considerando os dados tabulares que você mencionou,

$\tfrac{a}{a+b+c+d} \,/\, \tfrac{a+b}{a+b+c+d} = \tfrac{a}{a+b}$ $p(Y \mid X) = \tfrac{p(Y \cap X)}{p(X)}$$\tfrac{d}{a+b+c+d} \,/\, \tfrac{c+d}{a+b+c+d} = \tfrac{d}{c+d}$

Mas a citação também parece estar dizendo outra coisa

a sensibilidade do teste provavelmente será maior em pacientes hospitalizados e a especificidade do teste maior em pacientes ambulatoriais

então os autores dizem que a sensibilidade difere em diferentes grupos. Eu acho que pacientes internados e ambulatoriais podem diferir em muitos aspectos, não apenas na prevalência, portanto alguns outros fatores podem influenciar a sensibilidade. Então, eu concordo que eles podem mudar entre conjuntos de dados diferentes, que diferem em prevalência, mas a mudança não será uma função da prevalência em si (como mostra @gung em sua resposta).

$p(\text{positive test}\mid\text{condition})$

e, em muitos casos, essa é a probabilidade na qual as pessoas estão interessadas ("qual a probabilidade de um paciente com um resultado positivo para realmente ter a doença?") e depende da prevalência. Observe que também o seu link discute o impacto da prevalência no valor preditivo positivo, ou seja, a probabilidade posterior, não na sensibilidade.

Veja minha resposta aqui em taxas de verdadeiro / falso positivo / negativo.

Sensibilidade é apenas outro nome para a verdadeira taxa positiva e a especificidade é a mesma que a verdadeira taxa negativa. Tanto a sensibilidade quanto a especificidade são probabilidades condicionais; eles condicionam o status da doença do paciente. Portanto, a prevalência da doença (ou seja, a probabilidade a priori de um paciente ter a doença) é irrelevante, pois você está assumindo um estado específico da doença.

Não posso comentar por que o autor do livro afirma que a sensibilidade e a especificidade dependem do contexto clínico. Estas são observações empíricas?

Obviamente, não posso falar com as intenções do autor, mas aqui estaria o meu raciocínio para essa afirmação:

Considere o contexto clínico como um teste de diagnóstico em si. Um com sensibilidade e especificidade muito baixas, mas um teste não obstante. Se você estiver no hospital, é provável que esteja doente. Se você não estiver no hospital, provavelmente não ficará doente.

Nessa perspectiva, o teste de diagnóstico real que você executa é, na verdade, a segunda parte de dois testes feitos em série.

Isso deve ser um erro. Acho que talvez o autor esteja tentando sugerir que o valor preditivo positivo e negativo (VPP e VPN) depende da prevalência (assim como da sensibilidade e especificidade). Estes são frequentemente discutidos com testes de diagnóstico e, para um clínico, talvez mais valiosos que a interpretação bruta de sensibilidade e especificidade.

Este gráfico demonstra a relação entre o VPP e o VPN com prevalência, para um teste com sensibilidade de 95% e especificidade de 85%.

De Mausner JS, Kramer S: Epidemiologia de Mausner e Bahn: um texto introdutório. Philadelphia, WB Saunders, 1985, p. 221

@Satwik, @gung e @Tim já forneceram muitos detalhes, mas tentarei adicionar um pequeno exemplo de como o caso de fatores subjacentes pode causar esse efeito.

Um Princípio Chave: Viés

Os testes estatísticos de sensibilidade / especificidade e TODOS compartilham a mesma ressalva: aplica-se apenas à repetição do mesmo procedimento de amostragem de antes, de maneira imparcial.

Os hospitais são organizações funcionais projetadas para realizar amostragens tendenciosas, usando políticas de admissão para filtrar a população em geral para aquelas que requerem admissão e tratamento. Isso é muito antítese do procedimento científico. Se você deseja saber como um teste é executado em diferentes populações, ele precisa ser testado em diferentes populações.

O efeito latente: Correlação

É raro (ou impossível no mundo real, se você quiser ser rigoroso) um diagnóstico ser independente / ortogonal a todos os outros fatores de risco de uma doença, portanto, existe algum grau de correlação.

Se a tela de admissão no hospital estiver correlacionada positivamente com o diagnóstico, o que você encontrará é que as pessoas que passam no teste de admissão têm predisposição favorável a resultados positivos pelo diagnóstico, proporcional à correlação. Assim, os verdadeiros positivos são enriquecidos e os falsos negativos são reduzidos em quantidades proporcionais à correlação.

Isso então faz a sensibilidade parecer maior.

A explicação do fenômeno

Uma observação de que a sensibilidade pode ser maior em um contexto hospitalar não é, portanto, irrealista. De fato, se a política de admissões for bem pensada e adequada ao objetivo, espera-se que isso ocorra.

Não é evidência de uma quebra no pressuposto de que a sensibilidade e a especificidade são independentes da prevalência, mas sim uma amostra tendenciosa com base na política de internação hospitalar.

O qual, dado que um hospital existe para tratar pessoas e não para fazer experimentos científicos, é definitivamente uma coisa boa.

Mas isso dá aos cientistas uma dor de cabeça.