Que material devo incluir em um artigo de revista (ou publicar on-line) para tornar minha pesquisa computacional reproduzível?

A reprodutibilidade se tornou cada vez mais importante na pesquisa em ciências computacionais. (Por exemplo, consulte este artigo de Roger Peng na Science ; também conheço outros artigos e sites da Web.) No entanto, não está claro para mim quanta informação devo incluir em um artigo de revista (ou online) para obter minha pesquisa computacional é reproduzível (supondo que não haja outros obstáculos, como acordos de propriedade intelectual). Existem diretrizes por aí e, se não, as pessoas poderiam sugerir que medidas os pesquisadores devem tomar para tornar reproduzível sua pesquisa em ciências computacionais?

De uso particular nas respostas, seriam possíveis maneiras de implementar essas sugestões - fluxos de trabalho, basicamente. Fluxos de trabalho independentes de sistema ou baseados em Linux são preferíveis. Além disso, discutir qualquer experiência pessoal relevante que você teve também seria útil.

No meu caso particular, estou escrevendo um artigo teórico com alguns exemplos de cálculos que são simples o suficiente para serem feitos no MATLAB. Eu acho que nesse caso, incluindo o script MATLAB, além de observar a versão específica do MATLAB na minha máquina, seria suficiente para garantir a reprodutibilidade. No entanto, tenho certeza de que existem cenários mais complicados por aí, e conselhos sobre como realizar pesquisas reproduzíveis seriam muito úteis para futuros projetos.

Em ordem aproximada de importância.

Código fonte

1. Disponibilize o código que implementa os principais aspectos do seu algoritmo. Mesmo que o usuário não consiga criar ou executá-lo, ele pode ler exatamente o que é feito. Já notei várias vezes decisões simples que não foram documentadas em um artigo, mas que alguns minutos com o código fonte responderam conclusivamente.
2. Torne-o executável. Isso envolve a documentação das versões das bibliotecas dependentes e geralmente exige que você escreva um código portátil. Verifique se ele se baseia em pelo menos uma máquina que não seja a sua (é fácil ter dependências ocultas se você nunca a criou em um ambiente limpo).
3. Especifique a versão do código que foi usado. Se não for uma versão formalmente liberada (e às vezes até mesmo), documente o SHA1 da versão. (Isso naturalmente se aplica a DSCMs como Git e Mercurial, mas pode ser usado em qualquer lugar.) Essa é uma maneira muito confiável de garantir que alguém realmente tenha a mesma versão do código.
4. Inclua parâmetros de configuração e host, incluindo fornecedor do compilador, versões e sinalizadores de otimização, bibliotecas do sistema como libc, tipo de CPU e tipo e topologia de memória (especialmente para estudos de desempenho).

Parâmetros de tempo de execução / arquivos de entrada

Inclua a especificação de entrada completa. Se foi gerado por um script, inclua esse script. Se houver dados enormes, documente como obter e processar os dados. Se o seu algoritmo tiver aleatoriedade, especifique o gerador de número aleatório e a semente que foi usada.

Scripts para gerar figuras e tabelas

É muito útil incluir esses scripts, tanto para esclarecer qualquer dúvida sobre o que as figuras realmente mostram quanto para permitir que o leitor experimente como as coisas mudam se eles mudarem os parâmetros ou modificarem o algoritmo.

A maioria dos periódicos não está configurada para isso de maneira formal, mas recentemente fundamos o Archive of Numerical Software, que se destina especificamente a ter o código-fonte e tudo o mais necessário fazer parte do artigo. Confira: http://journals.tdl.org/ans Submissões são bem-vindas!

Em

Stodden, V. 2009. “O Marco Legal da Pesquisa Científica Reproduzível.” CiSE .

Victoria Stodden recomenda a publicação do "compêndio de pesquisa" completo e lista os seguintes componentes na p. 38:

1. O trabalho de pesquisa
2. Os dados - incluindo documentação e código para processar os dados
3. O experimento - todo o código fonte; documentação, parâmetros, configurações e dependências do sistema operacional
4. Os resultados do experimento - figuras, dados, arquivos de ilustração; e documentação e explicação do processamento dos resultados experimentais
5. Qualquer material auxiliar

Pelo menos, o código-fonte e os dados que você usou para realizar suas experiências devem estar acessíveis em algum lugar. Adicione instruções para criar seu código, se necessário. Realmente, existem tão poucos periódicos de acesso aberto que não existe uma regra aberta e estabelecida.

Eu trabalho para a Elsevier. Minha empresa começou a usar a estrutura Collage (desenvolvida em resposta ao Executable Paper Grand Challenge) em edições de periódicos para permitir que os autores incluíssem todos os dados e códigos necessários para reproduzir os resultados e figuras em seus artigos. Esse recurso facilita a reprodução dos resultados relatados no artigo e a reutilização do material publicado para sua própria pesquisa. O Collage suporta uma ampla variedade de software proprietário e de código aberto; mais informações podem ser encontradas no vídeo informativo aqui e no site do ambiente de criação de colagens .