É válido analisar dados de detecção de sinal sem empregar métricas derivadas da teoria de detecção de sinal?

Um experimento de detecção de sinal normalmente apresenta ao observador (ou sistema de diagnóstico) um sinal ou um não sinal, e o observador é solicitado a relatar se eles acham que o item apresentado é um sinal ou não. Tais experimentos produzem dados que preenchem uma matriz 2x2:

A teoria da detecção de sinal representa dados que representam um cenário em que a decisão "sinal / não sinal" se baseia em um continuum de sinalização no qual as tentativas de sinal geralmente têm um valor mais alto do que as tentativas sem sinal, e o observador simplesmente escolhe um valor de critério acima do qual eles reportarão "sinal":

No diagrama acima, as distribuições verde e vermelha representam as distribuições "sinal" e "não sinal", respectivamente, e a linha cinza representa o critério escolhido por um determinado observador. À direita da linha cinza, a área sob a curva verde representa os acessos e a área sob a curva vermelha representa os alarmes falsos; à esquerda da linha cinza, a área sob a curva verde representa erros e a área sob a curva vermelha representa rejeições corretas.

Como se pode imaginar, de acordo com este modelo, a proporção de respostas que caem em cada célula da tabela 2x2 acima é determinada por:

1. A proporção relativa de ensaios amostrados nas distribuições de verde e vermelho (taxa básica)
2. O critério escolhido pelo observador
3. A separação entre as distribuições
4. A variação de cada distribuição
5. Qualquer desvio da igualdade de variação entre distribuições (a igualdade de variação é mostrada acima)
6. A forma de cada distribuição (ambas são gaussianas acima)

Freqüentemente, a influência dos números 5 e 6 só pode ser avaliada levando o observador a tomar decisões em vários níveis de critérios diferentes; portanto, ignoraremos isso por enquanto. Além disso, os nºs 3 e 4 só fazem sentido um em relação ao outro (por exemplo, qual é o tamanho da separação em relação à variabilidade das distribuições?), Resumida por uma medida de "discriminabilidade" (também conhecida como d '). Assim, a teoria de detecção de sinal proscreve a estimativa de duas propriedades a partir dos dados de detecção de sinal: critério e discriminação.

No entanto, observei com frequência que os relatórios de pesquisa (principalmente da área médica) não aplicam a estrutura de detecção de sinal e, em vez disso, tentam analisar quantidades como "Valor preditivo positivo", "Valor preditivo negativo", "Sensibilidade" e "Especificidade ", todos os quais representam valores marginais diferentes da tabela 2x2 acima ( veja aqui para elaboração ).

Que utilidade essas propriedades marginais fornecem? Minha inclinação é desconsiderá-los completamente, porque eles confundem as influências teoricamente independentes de critério e discriminação, mas possivelmente não tenho imaginação para considerar seus benefícios.

A influência preditiva positiva (VPP) não é uma boa medida, não apenas porque confunde os dois mecanismos (discriminação e viés de resposta), mas também por causa das taxas básicas de itens. É preferível usar as probabilidades posteriores, como P (sinal | "yes"), que são responsáveis ​​pelas taxas básicas de itens:

$P(signal|yes) = \frac{P(signal)P(Hit)}{P(signal)P(Hit)+P(noise)P(False Alarm)}$

mas ... para que serve? bem, é útil para ajustar os critérios de resposta, a fim de maximizar / minimizar a probabilidade de um resultado específico. Portanto, é complementar às medidas de viés de sensibilidade e resposta, no sentido de ajudar a resumir os resultados das mudanças no viés de resposta.

Um conselho: se você usa uma matriz de resultados 2x2 que basicamente permite apenas obter uma medida de sensibilidade como d ', nem se preocupe com o SDT e use apenas alarmes de batidas falsas. Ambas as medidas (d 'e (HF)) têm uma correlação de 0,96 (não importa o que os teóricos da detecção de BS possam apresentar)

espero que isso ajude aplausos

Você está comparando "Qual é a probabilidade de um resultado positivo do teste estar correto, considerando uma prevalência e um critério de teste conhecidos?" com "Qual é a sensibilidade e o viés de um sistema desconhecido para vários sinais desse tipo?"

Parece-me que os dois usam alguma teoria semelhante, mas eles realmente têm propósitos muito diferentes. Com o critério de exames médicos é irrelevante. Pode ser definido como um valor conhecido em muitos casos. Portanto, determinar o critério do teste é inútil posteriormente. A teoria de detecção de sinal é melhor para sistemas onde o critério é desconhecido. Além disso, a prevalência, ou sinal, tende a ser um valor fixo (e geralmente muito pequeno). Com o SDT, você costuma elaborar uma média de sinais variáveis ​​modelando uma situação muito complexa como alguns descritores simples. Quando o critério e o sinal são quantidades conhecidas fixas, o SDT pode lhe dizer algo interessante? Parece haver muita sofisticação matemática para lidar com um problema fundamentalmente mais simples.

Isso pode ser uma simplificação excessiva, mas especificidade e sensibilidade são medidas de desempenho e são usadas quando não há nenhum conhecimento objetivo da natureza do sinal. Quero dizer que o seu gráfico densidade vs. sinalização assume uma variável que quantifica a sinalização. Para dados de dimensões muito altas ou de dimensões infinitas, e sem uma teoria rigorosa e comprovável do mecanismo de geração do sinal, a seleção da variável não é trivial. Surge então a questão: por que, depois de selecionar essa variável, suas propriedades estatísticas, como a média e a variância do sinal e do não sinal, não são quantificadas. Em muitos casos, a variável pode não ser apenas normal, Poisson ou distribuída exponencialmente. Pode até ser não paramétrico; nesse caso, quantificar a separação como diferença média sobre a variação etc., não faz muito sentido. Além disso, muita literatura no campo biomédico é focada em aplicações, e o ROC, a sensibilidade à especificidade etc., podem ser usados ​​como critérios objetivos para comparar as abordagens em termos da natureza limitada do problema, e basicamente isso é tudo o que É necessário. Às vezes, as pessoas podem não estar interessadas em descrever, digamos, a versão discreta real da distribuição log-gama da razão entre a abundância de transcritos gene1 e gene2 em indivíduos doentes e controles. fenótipo ou probabilidade de doença que explica. pode ser usado como critério objetivo para comparar as abordagens em termos da natureza limitada do problema, e basicamente isso é tudo o que é necessário. Às vezes, as pessoas podem não estar interessadas em descrever, digamos, a versão discreta real da distribuição log-gama da razão entre a abundância de transcritos gene1 e gene2 em indivíduos doentes e controles. fenótipo ou probabilidade de doença que explica. pode ser usado como critério objetivo para comparar as abordagens em termos da natureza limitada do problema, e basicamente isso é tudo o que é necessário. Às vezes, as pessoas podem não estar interessadas em descrever, digamos, a versão discreta real da distribuição log-gama da razão entre a abundância de transcritos gene1 e gene2 em indivíduos doentes e controles. fenótipo ou probabilidade de doença que explica.