Que exemplos de variáveis ​​ocultas em experimentos controlados existem nas publicações?

Nesse papel:

Variáveis ​​ocultas: alguns exemplos Brian L. Joiner The American Statistician Vol. 35, nº 4, novembro de 1981 227-233

Brian Joiner afirma que "a randomização não é uma panacéia". Isso é contrário a declarações comuns como a abaixo:

Um experimento bem projetado inclui recursos de design que permitem que os pesquisadores eliminem variáveis ​​estranhas como explicação para a relação observada entre a (s) variável (s) independente (s) e a variável dependente. Essas variáveis ​​estranhas são chamadas de variáveis ​​ocultas.

A citação foi tirada desta pergunta e não tem uma fonte, mas, na minha experiência, é representativa da atitude predominante: Exemplos de observação variável à espreita e influência

Um exemplo dado é que, ao testar a segurança (especificamente carcinogênese) do corante alimentar vermelho nº 40 em roedores nos anos setenta, foi encontrado um efeito da posição da gaiola para confundir o estudo. Agora, já li muitos artigos de revistas estudando a carcinogênese em roedores e nunca vi alguém relatando o controle desse efeito.

Uma discussão mais aprofundada desses estudos pode ser encontrada aqui: Um estudo de caso de estatística no processo regulatório: os experimentos FD&C Red No. 40.

Não consegui encontrar uma versão sem paywall, mas aqui está um trecho:

Na reunião de janeiro, apresentamos uma análise preliminar (14) que divulgou uma forte correlação entre as taxas de óbito na linha da gaiola e a ER (tumor retículo-endotelial), que variou de 17% (linha inferior) a 32% (linha superior) (tabela 2) Não conseguimos explicar essa forte associação por sexo, grupo de dosagem ou coluna ou posição do rack. Uma análise subsequente (18) também indicou que a posição da gaiola (frente x costas) pode estar correlacionada com a mortalidade não-ER e essa posição foi correlacionada com o tempo até a morte não-ER.

Estou especificamente interessado em saber por que parece haver um problema com a replicação na literatura médica, mas exemplos de todos os campos seriam bem-vindos. Observe que estou interessado em exemplos de experimentos controlados randomizados, e não em estudos observacionais.

Alguns exemplos de pesquisas clínicas podem ser variáveis ​​que surgem após a randomização - a randomização não o protege de maneira alguma. Alguns em cima da minha cabeça, que foram levantados como possibilidades ou foram anotados:

• Mudanças de comportamento após a circuncisão masculina voluntária para prevenção do HIV
• Perda diferencial no acompanhamento entre os braços de tratamento e controle de um ECR
• Um exemplo mais específico pode incluir o recente estudo "Benefits of Universal Gowning and Gloving", que trata da prevenção de infecções hospitalares ( comentário no blog aqui , o artigo está por trás de um paywall). Além da intervenção, e potencialmente por causa disso, as taxas de higiene das mãos e as taxas de contato entre pacientes e funcionários / visitantes foram alteradas.

A randomização protege contra nenhum desses efeitos, porque eles surgem após a randomização.

Aqui está um exemplo que encontrei para dados de microarray. Foi relatado que a expressão medida está fortemente correlacionada com a posição nos "chips". Este é um caso em que a randomização da posição das amostras pode levar a uma chance maior de cometer um erro de rotulagem, de modo que aqueles que executam o trabalho técnico podem optar por não fazer a randomização se não acharem importante.

A atribuição aleatória de unidades experimentais a tratamentos controla a probabilidade de que qualquer outro fator que não seja o tratamento seja a causa da associação (1,2) ⁠. Em algumas plataformas de microarrays, como Illumina® e NimbleGenTM, várias amostras biológicas podem ser hibridizadas em um único chip. Os efeitos da posição do chip e da amostra podem afetar a precisão e a reprodutibilidade das experiências com microarrays, a menos que o equilíbrio e a randomização sejam considerados no projeto experimental (4). Nosso objetivo foi comparar o impacto desses efeitos em um experimento confundido e randomizado.

Importância da randomização em projetos experimentais de microarrays com plataformas Illumina

Ricardo A. Verdugo, Christian F. Deschepper e Gary A. Churchill. O Laboratório Jackson, Bar Harbor, ME 04609, Institut de Recherches Cliniques, Montreal, QC, Canadá.

Eu tenho um exemplo que pode ser um pouco diferente do que você originalmente pretendia quando fez essa pergunta. Nos últimos dois anos, houve uma discussão em psicologia sobre a causa da falta de replicabilidade dos efeitos de experimentos aleatórios. Versões desse debate vêm à tona há muitos anos, mas o debate se tornou mais estridente desde a publicação de um artigo que mostra que muitas práticas que são padrão em psicologia na formulação de hipóteses, coleta de dados, análise de dados e relatório de resultados permitem que os pesquisadores encontrem resultados que apoiem hipóteses escolhidas arbitrariamente (no artigo original, os pesquisadores usaram essas práticas para mostrar que ouvir "When I'm Sixty-Four", dos Beatles, tornou as pessoas mais jovens).

A raiz do problema, é claro, são as estruturas de incentivo difundidas na psicologia (e em outras ciências) para obter resultados novos, positivos e "publicáveis". Esses incentivos incentivam os pesquisadores a adotar práticas que, embora não tão obviamente "erradas" quanto a fabricação de dados, levam a um aumento da taxa de resultados falso-positivos. Essas práticas incluem:

1. A coleção de variáveis ​​dependentes múltiplas e altamente semelhantes. Somente a variável dependente que produz os resultados mais consistentes com a hipótese original é relatada.
2. Durante a coleta de dados, teste para obter resultados significativos várias vezes e interrompa a coleta de dados quando a significância for obtida.
3. Durante a análise, a inclusão de múltiplas covariáveis ​​no modelo estatístico. No artigo final, apenas a combinação de covariáveis ​​que leva a resultados mais consistentes com a hipótese original é relatada.
4. Eliminar as condições que levam a resultados inconsistentes com as hipóteses originais e não reportar essas condições no documento.

E assim por diante.

Eu argumentaria que a "variável oculta" nesses casos é a estrutura de incentivos que recompensa os pesquisadores por obter resultados positivos "publicáveis". De fato, já houve vários resultados de alto nível em psicologia (muitos dos quais estão na minha especialidade, psicologia social) que não foram replicados. Muitos fracassam na replicação, argumentam, que questionam subcampos inteiros da psicologia.

Certamente, o problema das estruturas de incentivo que incentivam falsos positivos não é exclusivo da psicologia; esse é um problema endêmico para toda a ciência e, portanto, para todos os ensaios clínicos randomizados.

Referências

Simmons, JP, Nelson, LD, e Simonsohn, U. (2011). Psicologia falso-positiva: A flexibilidade não revelada na coleta e análise de dados permite apresentar algo tão significativo. Psychological Science , 17, 1359-1366.

Nosek, BA, Spies, JR e Motyl, M. (2012). Utopia científica: II. Reestruturar incentivos e práticas para promover a verdade sobre a publicabilidade. Perspectives on Psychological Science , 7, 615-631.

Yong, E. (2012). Cópia incorreta. Nature , 485, 298-300.

Abbott, A. (2013). A disputa resulta em um novo golpe para a psicologia social. Nature , 497, 16.