Procurando uma ilustração real da citação de Fisher sobre o DoE

Minha equipe e eu gostaríamos de fazer uma apresentação aos não estatísticos da empresa sobre a utilidade do design de experimentos. Esses não estatísticos também são nossos clientes e geralmente não nos consultam antes de coletar seus dados. Você conhece alguns exemplos reais que ilustrariam bem a famosa citação de Fisher: "Chamar o estatístico após a conclusão do experimento pode não ser mais do que pedir a ele para realizar um exame post mortem: ele só pode dizer o que o experimento morreu. do." ? De preferência, estamos procurando uma ilustração em um contexto industrial / farmacêutico / biológico. Pensamos em um exemplo de uma análise estatística inconclusiva que poderia ter sido bem-sucedida se tivesse sido preliminarmente bem projetada, mas talvez haja outras ilustrações possíveis.

Encontrei designs nos quais o pesquisador queria testar entre os efeitos do assunto, mas o design era mais adequado para efeitos do assunto.

Por exemplo, um experimento consistiu em 8 ratos, quatro na dieta A e quatro na dieta B, e o peso do rato foi medido todos os dias durante quatro semanas. Isso seria bom se eles estivessem interessados ​​no efeito temporal de cada dieta, mas o objetivo era investigar as diferenças nas dietas.

Eles pensaram que, medindo cada rato 28 vezes, tinham muitos dados, mas a unidade experimental para o efeito da dieta era o rato, que eles tinham apenas 4 para cada tratamento. Eles poderiam ter medido os ratos 10 vezes por dia, mas isso não faria diferença; no final, eles precisavam de mais ratos.

Eu trabalhei para uma organização chamada National Foundation for Celiac Awareness. A organização promove a conscientização do público sobre a doença celíaca e fornece uma lista de verificação dos sintomas da doença, que envolve intolerância a alimentos que contêm glúten. Eles conduziram uma pesquisa na internet, apenas abrindo-a para quem quisesse participar. Ao longo dos anos, eles coletaram milhares de respostas do público. No entanto, eles esperavam tirar conclusões sobre o público em geral com base nos resultados da pesquisa. Eu tive que dizer a eles que os entrevistados eram auto-selecionados em vez de aleatórios e isso poderia criar viés. Como o grau de viés é desconhecido, não podemos fazer nenhuma inferência, apesar da grande quantidade de dados.

Agora, os entrevistados pareciam ser um grupo peculiar. Muitos são muito sérios e responderam à preocupação de que eles ou um parente possam ter a doença. Mas havia também um número distinto de pessoas respondendo de maneira sábia. Isso era óbvio pelos nomes falsos, endereços de email estranhos e endereços postais que eles forneceram com suas respostas.

Eu senti que os dados eram úteis apenas em um sentido exploratório e a frequência das respostas poderia ser útil para fomentar hipóteses que poderiam ser testadas em uma pesquisa futura bem planejada. Até agora, porém, meus conselhos não foram atendidos e eles estão executando outra dessas pesquisas fáceis de selecionar na internet.

Algum tempo atrás, fui convidado a analisar os resultados de um experimento sobre como a posição de armazenamento noturno de um painel solar fotovoltaico afetava a taxa com que o solo se acumulava no painel. (Essas grandes matrizes fotovoltaicas concentradoras rastreiam o sol o dia todo, mas à noite elas são tipicamente armazenadas apontando para cima, pois essa é a posição de tensão mínima para o rastreador.) Sujeira é um grande problema, pois reduz significativamente a produção de energia e a limpeza. não é barato. O experimento foi realizado em um campo de aproximadamente 120 rastreadores; a metade oeste foi arrumada verticalmente e a metade horizontalmente (alinhada com as conexões do rastreador aos dois inversores, o que proporcionaria uma vantagem na produção de energia durante o experimento, se houver um efeito significativo e nenhum padrão específico de sujeira, então não é,

Infelizmente, existe um forte padrão de vento predominante no deserto, do sul-sudoeste, e um grande edifício ao sul da parte ocidental do campo, "sombreando" (um pouco) grande parte da parte ocidental do campo a partir de partículas sopradas pelo vento . Além disso, os rastreadores se "protegem" do vento em certa medida. Conseqüentemente, os mecanismos pelos quais o solo se acumula (por exemplo, soprado pelo vento ou por sedimentação) variam em magnitude relativa no campo. Por sua vez, isso implica que as matrizes acumulam o solo em taxas diferentes, dependendo da localização; este não é um efeito pequeno.

O resultado final da análise foi, essencialmente, que não era implausível que a posição de armazenamento fizesse diferença, mas não podíamos, de forma alguma, descartar a possibilidade de que o efeito fosse trivial, nem determinar com grande confiança (com base em nos dados) o sinal do efeito. Em seguida, projetei um experimento de acompanhamento, atribuindo posições de armazenamento com base na localização da matriz, com o objetivo de estimar a "superfície de resposta" do solo em todo o campo para ambas as posições de armazenamento, estimando as taxas de "sedimentação" versus "sujeira" pelo vento e é claro o efeito do ângulo de armazenamento em ambos. Esse experimento foi bastante bem-sucedido e conseguimos obter uma imagem clara dos benefícios do armazenamento vertical após apenas alguns meses.

Um colega me pediu para 'fazer as estatísticas' em um estudo que analisava a correlação entre um determinado tipo de evento climático e falhas em um tipo de infraestrutura que normalmente é atribuído ao simples desgaste. O colega queria ver se os eventos climáticos estavam realmente contribuindo para o fracasso ou não. Uma equipe de pessoas já gastou muito tempo e esforço coletando uma grande quantidade de dados e o trabalho de pesquisa estava praticamente concluído, eles só precisavam de alguém para 'fazer as estatísticas' e preencher a parte final da seção de resultados.

O problema era que eles haviam garantido cuidadosamente que o conjunto de dados continha apenas períodos "interessantes" nos quais o evento climático em questão havia ocorrido. Isso significava que não havia como comparar a taxa de falhas durante eventos com horários que não são eventos. Tentei repetidamente explicar o problema, mas eles nunca foram realmente convencidos, porque eles simplesmente tinham tantos dados que certamente eu consegui obter algo com isso.

Felizmente, ainda havia uma série de severidades dos eventos climáticos e havia uma correspondência fraca entre a taxa de severidade e falha, por isso recuperamos algo disso pelo menos, mas o resultado poderia ter sido muito mais definitivo se eles pensassem em como 'faça as estatísticas' antes de iniciar o exercício de coleta de dados.