Como estamos definindo 'pesquisa reproduzível'?

Isso surgiu em algumas perguntas agora, e eu estive pensando em algo. O campo como um todo mudou para a "reprodutibilidade", com foco na disponibilidade dos dados originais e no código em questão?

Sempre fui ensinado que o núcleo da reprodutibilidade não era necessariamente, como já referi, a capacidade de clicar em Executar e obter os mesmos resultados. A abordagem de dados e códigos parece assumir que os dados estão corretos - que não há uma falha na coleta dos dados em si (geralmente comprovadamente falsa no caso de fraude científica). Também se concentra em uma única amostra da população-alvo, em vez da replicabilidade da descoberta em várias amostras independentes.

Por que a ênfase está em ser capaz de executar novamente a análise, em vez de duplicar o estudo desde o início?

O artigo mencionado nos comentários abaixo está disponível aqui .

"Pesquisa reproduzível" como análise reprodutível

Pesquisa reproduzível é um termo usado em alguns domínios de pesquisa para se referir especificamente à realização de análises como

• O código transforma dados brutos e metadados em dados processados,
• O código executa análises nos dados e
• O código incorpora análises em um relatório.

Quando esses dados e códigos são compartilhados, isso permite que outros pesquisadores:

• realizar análises não relatadas pelos pesquisadores originais
• verificar a exatidão das análises realizadas pelos pesquisadores originais

Esse uso pode ser visto nas discussões de tecnologias como o Sweave . Por exemplo, Friedrich Leisch escreve no contexto do Sweave que "o relatório pode ser atualizado automaticamente se os dados ou análises forem alterados, o que permite uma pesquisa verdadeiramente reproduzível". Também pode ser visto na Visão da Tarefa CRAN sobre Pesquisa Reproduzível, que afirma que "o objetivo da pesquisa reproduzível é vincular instruções específicas à análise e aos dados experimentais para que a bolsa possa ser recriada, melhor compreendida e verificada".

Uso mais amplo do termo "reprodutibilidade"

A reprodutibilidade é um objetivo fundamental da ciência. Não é novo Os relatórios de pesquisa incluem seções de método e resultados que devem descrever como os dados foram gerados, processados ​​e analisados. Uma regra geral é que os detalhes fornecidos devem ser suficientes para permitir que um pesquisador competente receba as informações fornecidas e reproduza o estudo.

A reprodutibilidade também está intimamente relacionada aos conceitos de replicabilidade e generalização.

Assim, o termo "pesquisa reproduzível", tomado literalmente, como aplicado a tecnologias como Sweave, é um nome impróprio, dado que sugere uma relevância mais ampla do que abrange. Além disso, ao apresentar tecnologias como Sweave a pesquisadores que não usaram essas tecnologias, esses pesquisadores costumam se surpreender quando chamo o processo de "pesquisa reproduzível".

Um termo melhor do que "pesquisa reproduzível"

Dado que a "pesquisa reproduzível" usada em contextos semelhantes ao Sweave refere-se apenas a um aspecto da pesquisa reproduzível, talvez um termo alternativo deva ser adotado. As alternativas possíveis incluem:

• Análise reproduzível:
  • John D Cook usou esse termo
  • Jennifer Blackford usa o termo "análises confiáveis ​​e reprodutíveis"
• Análise de dados reproduzíveis
  • Christophe Pouzat usa esse termo
• Análise estatística reproduzível
  • Um site da Biostats em Vanderbilt usa o termo "análise estatística reproduzível e atividades de relatório"
• Relatórios reproduzíveis

Todos os termos acima são um reflexo mais preciso do que as análises do tipo Sweave envolvem. A análise reproduzível é curta e agradável. Adicionar "dados" ou "estatísticos" esclarece ainda mais as coisas, mas também torna o termo mais longo e mais estreito. Além disso, "estatístico" tem um significado estreito e amplo, e certamente dentro do significado estreito, grande parte do processamento de dados não é estatístico. Assim, a amplitude implícita no termo "análise reprodutível" tem suas vantagens .

Não se trata apenas de reprodutibilidade

A outra questão adicional com o termo "pesquisa reproduzível" é o objetivo das tecnologias do tipo Sweave não é apenas "reprodutibilidade". Existem vários objetivos inter-relacionados:

• Reprodutibilidade
  • As análises podem ser facilmente reexecutadas para transformar dados brutos em relatório final com os mesmos resultados?
• Correção
  • A análise dos dados é consistente com as intenções do pesquisador?
  • As intenções do pesquisador estão corretas?
• Abertura
  • Transparência, responsabilidade
    • Outras pessoas podem verificar e verificar a precisão das análises realizadas?
  • Extensibilidade, modificabilidade
    • Outras pessoas podem modificar, ampliar, reutilizar e misturar dados, análises ou ambos para criar novos trabalhos de pesquisa?

Há um argumento de que a análise reprodutível deve promover análises corretas, porque há um registro escrito das análises que podem ser verificadas. Além disso, se os dados e o código são compartilhados, ele cria uma responsabilidade que motiva os pesquisadores a verificar suas análises e permite que outros pesquisadores observem correções.

A análise reprodutível também se ajusta de perto aos conceitos em torno da pesquisa aberta. Obviamente, um pesquisador pode usar tecnologias semelhantes ao Sweave apenas para si. Os princípios de pesquisa aberta incentivam o compartilhamento dos dados e o código de análise para permitir maior reutilização e responsabilidade.

Isso não é realmente uma crítica ao uso da palavra "reproduzível". Pelo contrário, apenas destaca que o uso de tecnologias semelhantes ao Sweave é necessário, mas não suficiente para alcançar objetivos abertos de pesquisa científica.

Ter acesso aos dados e código para a análise de uma forma fácil de executar é uma condição sine qua non da pesquisa reproduzível. Depois de verificar se a análise funciona, você pode substituir seu próprio código / dados, se não acreditar no autor original. Eu diria que a maioria dos artigos que contêm estatísticas que li têm pelo menos uma parte da metodologia que é deixada vaga. Minhas tentativas de reproduzir essas análises geralmente não são bem-sucedidas (e sempre demoradas), mas é muito difícil dizer se isso é devido a fraude, erro humano ou (muito mais provável) que eu resolva essas ambiguidades de maneira diferente do autor. Portanto, ter dados + código para um artigo não garante que suas conclusões sejam verdadeiras, mas facilita muito criticá-las ou ampliá-las.

Além disso, "pesquisa reproduzível" é uma questão de grau. Portanto, o movimento de pesquisa reproduzível pode ser visto como encorajador de pesquisas "mais reprodutíveis" que a norma, em vez de exigir que a pesquisa atinja algum limiar mínimo. Eu acho que "liberar os dados e o código" está em voga agora, porque é uma etapa relativamente fácil e não ameaçadora.

Ser capaz de reexecutar tudo é um ponto de partida para a pesquisa reproduzível. Permite mostrar que você está realmente usando o mesmo procedimento. Depois disso - e somente depois disso - você pode prosseguir com a pesquisa de seus colegas. Em outras palavras, a estrita reprodutibilidade não deve ser percebida como um momento em que a pesquisa avança, mas como um marco, um consenso , algo com o qual as pessoas concordam. Isso não é fundamental para ir além?

Além disso, de acordo com a discussão de Donoho (leia a seção 2 "o escândalo"), o objetivo da pesquisa reproduzível também é testar a robustez do código fornecido. Primeiro, jogando com o código, fazendo pequenas modificações que não foram feitas no artigo (porque não queremos papéis com 30 figuras ...). Penso que o conceito de pesquisa reproduzível na literatura contém a ideia de ter um marco robusto e forte. Quase contém a idéia de ir mais longe.