Revendo estatísticas em trabalhos

Para alguns de nós, a arbitragem de papéis faz parte do trabalho. Ao revisar artigos de metodologia estatística, acho que conselhos de outras áreas são bastante úteis, como ciência da computação e matemática .

Esta questão diz respeito à revisão de artigos estatísticos mais aplicados. Com isso, quero dizer, o artigo é submetido a um periódico não-estatístico / matemático e a estatística é apenas mencionada na seção "métodos".

Algumas perguntas particulares:

1. Quanto esforço devemos fazer para entender a área de aplicação?
2. Quanto tempo devo gastar em um relatório?
3. Como você é exigente quando olha figuras / tabelas.
4. Como você lida com os dados não disponíveis.
5. Você tenta executar novamente a análise usada.
6. Qual é o número máximo de artigos que você revisaria em um ano?

Perdeu alguma pergunta? Sinta-se livre para editar ou adicionar um comentário.

Editar

Estou chegando a essa pergunta como estatístico, revisando um artigo de biologia, mas estou interessado na revisão estatística de qualquer disciplina não matemática.

Não tenho certeza se isso deve ser um CW. Por um lado, é um pouco aberto, mas, por outro, vejo-me aceitando uma resposta. Além disso, as respostas provavelmente serão bastante longas.

Não tenho certeza sobre a qual área da ciência você está se referindo (tenho certeza que a resposta seria realmente diferente se se tratasse de biologia versus física, por exemplo ...)

De qualquer forma, como biólogo, responderei do ponto de vista "biológico":

Quanto esforço devemos fazer para entender a área de aplicação?

Costumo ler pelo menos os trabalhos anteriores dos mesmos autores e procurar algumas revisões sobre o assunto, se não estiver muito familiarizado. Isso é especialmente verdadeiro quando se lida com novas técnicas que eu não conheço, porque preciso entender se eles fizeram todos os controles adequados, etc.

Quanto tempo devo gastar em um relatório?

Tanto quanto necessário (OK, resposta idiota, eu sei!: P) Em geral, eu não gostaria que alguém revisando meu trabalho fizesse um trabalho aproximado apenas porque ele / ela tem outras coisas a fazer, então tento não fazer isso sozinho .

Como você é exigente quando olha figuras / tabelas.

Bastante exigente. Os números são a primeira coisa que você olha quando navega em um papel. Eles precisam ser consistentes (por exemplo, títulos corretos nos eixos, legenda correta etc.). Ocasionalmente, sugeri usar um tipo diferente de gráfico para mostrar dados quando pensei que o usado não era o melhor. Isso acontece muito na biologia, um campo que é dominado pelo tipo de gráfico "barplot +/- SEM". Também sou bastante exigente na seção "materiais e métodos": uma análise estatística perfeita em um modelo biológico inerentemente errado é completamente inútil.

Como você lida com os dados não disponíveis.

Você apenas confia nos autores, eu acho. Em muitos casos, na biologia, não há muito que você possa fazer, especialmente quando se lida com coisas como imagens ou comportamento animal e similares. A menos que você queira que as pessoas publiquem toneladas de imagens, vídeos etc. (que você provavelmente não passaria de qualquer maneira), mas isso pode ser muito impraticável. Se você acha que os dados são realmente necessários, peça aos autores que os forneçam como dados / figuras suplementares.

Você tenta executar novamente a análise usada.

Somente se eu tiver sérias dúvidas sobre as conclusões tiradas pelos autores. Na biologia, muitas vezes há uma diferença entre o que é (ou não) "estatisticamente significativo" e o que é "biologicamente significativo". Prefiro uma análise estatística mais fina, com bom raciocínio biológico, e vice-versa. Mas, novamente, no improvável evento de revisar um artigo de bioestatística (ahah, isso seria divertido !!!), provavelmente prestaria muito mais atenção às estatísticas do que à biologia existente.

$x$$3/(x/100)$, se a taxa de aceitação for de 33%, os editores precisam obter nove revisões para cada artigo publicado. Se você, como autor, leva isso a sério, deve tentar fornecer nove resenhas (ou qualquer que seja o número para seus periódicos-alvo) para cada artigo que publicar!

$r$$r/10$$r/5$ $r/10$

Meu ponto de vista estaria revisando um artigo em psicologia ou prevendo seus méritos estatísticos. Vou principalmente acompanhar as boas observações de Nico.

Quanto esforço devemos fazer para entender a área de aplicação?

Bastante, na verdade. Eu não confiaria em mim mesmo para comentar mais do que os problemas estatísticos mais básicos sem ter entendido a área. Felizmente, isso muitas vezes não é muito difícil em muitos ramos da psicologia.

Quanto tempo devo gastar em um relatório?

Vou sair do ramo e declarar um horário específico: gastarei qualquer coisa entre duas e oito horas em uma revisão, às vezes mais. Se eu descobrir que estou gastando mais de um dia em um artigo, provavelmente significa que não estou realmente qualificado para entendê-lo, então recomendo que o diário encontre outra pessoa (e tente sugerir algumas pessoas).

Como você é exigente quando olha figuras / tabelas.

Muito exigente mesmo. As figuras serão o que as pessoas lembram de um artigo e o que acaba nas apresentações das palestras sem muito contexto, portanto, elas realmente precisam ser bem feitas.

Como você lida com os dados não disponíveis.

Em psicologia, os dados geralmente não são compartilhados - medir 50 pessoas por ressonância magnética é muito caro, e os autores desejam usar esses dados para outros artigos, então eu meio que entendo a relutância deles em apenas fornecer os dados. Portanto, qualquer pessoa que compartilhe seus dados recebe um grande bônus no meu livro, mas não o compartilhamento é compreensível.

Na previsão, muitos conjuntos de dados estão disponíveis ao público. Nesse caso, eu geralmente recomendo que os autores compartilhem seu código (e façam isso sozinho).

Você tenta executar novamente a análise usada.

Sem os dados, há muito que se pode aprender com isso. Vou brincar com dados simulados, se algo é muito surpreendente sobre os resultados do artigo; caso contrário, pode-se distinguir métodos apropriados a partir de métodos inapropriados sem os dados (depois de entender a área, veja acima).

Qual é o número máximo de artigos que você revisaria em um ano?

Há realmente muito pouco a acrescentar ao argumento de whuber's acima - supondo que todo artigo com, em média, n co-autores que eu (co-) submeta receba 3 revisões, deve-se realmente tentar revisar pelo menos 3 / ( n + 1 ) artigos para cada envio (contagem de envios em vez de artigos próprios que podem ser rejeitados e reenviados). E, é claro, o número de envios, bem como o número de co-autores, varia fortemente com a disciplina.