Como faço para arbitrar um trabalho?

Atualizado abaixo

Todos sabemos a importância crítica da revisão por pares. É a principal forma de controle de qualidade e feedback sobre a pesquisa. No entanto, para um pesquisador em estágio inicial (como eu), às vezes pode ser um sistema / processo confuso.

Nesse sentido, existem vários tratados sobre o processo de arbitragem científica que orientam. Dois exemplos (muito diferentes) da ciência da computação - este artigo de 1994 da Parberry e um mais recente da Cormode - oferecem ótimos conselhos (embora o último possa ser um pouco travesso).

Aqui, eu gostaria de solicitar conselhos mais amplos dos membros mais experientes desta comunidade sobre o processo de revisão, com particular atenção às peculiaridades da ciência da computação teórica.

1. Quais são os principais critérios para determinar a importância dos resultados de um trabalho? Como julgo se um trabalho deve ser aceito na conferência / revista? É importante verificar a exatidão?
2. Quais são os principais elementos do relatório do árbitro e quais partes são mais importantes? É sempre necessário fazer uma recomendação de (não) aceitação? O que se passa no relatório e o que se passa apenas com o editor?
3. Como a avaliação de conferências difere da avaliação em periódicos? Como os relatórios das conferências diferem dos relatórios das revistas? (Como diabos eu avalio minha "confiança" em minha recomendação?) A versão do periódico deve ser significativamente diferente do documento da conferência?
4. E se eu não entender o jornal? ...a prova? (A culpa é minha ou deles?)
5. E os erros tipográficos / gramaticais? E se houver muitos deles?
6. Quanto tempo devo gastar em um relatório?
7. Quantos relatórios por ano devo escrever? Quando é aceitável recusar um pedido de árbitro?

Evidentemente, quaisquer outras perguntas e respostas relevantes sobre esse tópico são incentivadas, pois é a CW.

Esta pergunta é inspirada em (roubada de) uma postagem semelhante no MathOverflow .

Atualização 15/02/2011:

Ainda estou muito interessado em obter mais informações sobre essa questão, especialmente no que diz respeito à revisão dos documentos da conferência e dos membros do comitê do programa. (Esses dois papéis são bestas diferentes e são muito diferentes de serem árbitros de um artigo de periódico, IMO.) É verdade que a participação no comitê de programa é mais rara do que a arbitragem ou a revisão (e ainda não foi meu privilégio), mas é um responsabilidade que todo pesquisador em ciência da computação teórica deve assumir eventualmente.

• Tempo. Quanto tempo devo passar como membro do comitê ou revisor da conferência? Dada a probabilidade de conseguir dez ou talvez muito mais no espaço de algumas semanas, como evito ficar sem tempo? Quais são as coisas mais importantes para gastar tempo?

• Confiança. E se o documento estiver muito longe da minha área de especialização? Quais fatores devem ser indicados / solicitados a alguém para revisar um envio? Se não estiver muito longe da minha área de especialização e optar por analisá-la, quando é permitido atribuir uma classificação de confiança de 1?

• Critério. Existem diferenças críticas entre periódicos e conferências. Alguns artigos muito importantes não são publicados em periódicos. Alguns artigos muito importantes não apareceram anteriormente em conferências. Quais são as distinções mais significativas nos critérios sobre os quais avaliar trabalhos nesses contextos?

• Recomendações. Inerentemente, há menos recomendações que podem ser oferecidas aos autores de um artigo da conferência, principalmente devido a restrições de espaço e tempo. Além disso, geralmente há apenas uma rodada de revisão. Outra consideração é que meu relatório se torna público para todo o comitê forte. Qual é o escopo de sugestões / diretrizes que posso oferecer?

Como antes, se você acha que eu não fiz perguntas específicas, entre em contato ou edite diretamente. Esta é a CW, afinal.

Esses novos pensamentos são parcialmente motivados pela leitura de um artigo que Suresh mencionou em seu blog .

1. De acordo com o seu conhecimento, o artigo oferece uma contribuição significativa, bem apresentada e correta para o estado da arte? Se o documento falhar em qualquer um dos três critérios, é justo rejeitá-lo apenas por esse motivo, independentemente dos outros dois.

2. Aqui está o que eu acho que um relatório deve conter. Tudo deve estar visível ao autor, exceto possivelmente por acusações graves de má conduta.

   uma. Um resumo rápido do artigo, para ajudar o editor a julgar a qualidade dos resultados e para convencer o autor e o editor de que você realmente leu e entendeu o artigo. Coloque o resultado em seu contexto maior. Inclua um histórico de versões anteriores, mesmo que os autores o incluam na submissão. Seja respeitoso, mas brutalmente honesto.

   b. Uma discussão sobre os pontos fortes e fracos do artigo, em termos de correção, novidade, clareza, importância, generalidade, impacto potencial, elegância, profundidade técnica, robustez, etc. Se você suspeitar de comportamento antiético (plágio, submissão paralela, dados cozidos) , descreva suas suspeitas. Seja respeitoso, mas brutalmente honesto.

   c. Uma recomendação ao editor para ações adicionais - aceite, aceite com uma revisão menor, solicite uma segunda rodada de revisão ou rejeite completamente. Lembre-se de que você está fazendo uma recomendação, não uma decisão; se você não conseguir se decidir, apenas diga. Seja respeitoso, mas brutalmente honesto.

   d. Comentários mais detalhados ao autor - justificativa mais detalhada para sua recomendação, solicitações de esclarecimentos na versão final, referências ausentes, erros nas provas, simplificações, generalizações, erros de digitação etc. Seja respeitoso, mas brutalmente honesto.

3. Os relatórios da conferência devem ser mais curtos; os comitês do programa têm centenas de documentos a considerar de uma só vez. A diferença entre os artigos da conferência e os periódicos depende da revista (e indiretamente, da comunidade). A maioria das revistas teóricas de ciência da computação não insiste em uma diferença significativa; é bastante comum que as versões para conferências e periódicos de um artigo teórico sejam essencialmente idênticas. Em caso de dúvida, pergunte ao editor!

4. Se você ainda não entender o artigo depois de fazer um esforço de boa-fé, a culpa é do autor, ou possivelmente do editor, mas certamente não é seu. A responsabilidade principal do autor é comunicar efetivamente o resultado ao público, e um bom editor enviará um artigo para o árbitro somente se eles acharem que você é um bom representante do público pretendido. Mas você precisa fazer um esforço de boa fé; não espere entender imediatamente tudo (alguma coisa?) imediatamente em sua primeira leitura.

5. Se houver muitos erros, nem leia o jornal; apenas recomende a rejeição, alegando que o artigo não é profissionalmente escrito. Caso contrário, se você realmente quiser ser completo, inclua uma lista representativa de erros gramaticais, ortográficos e de pontuação, mas não tente encontrar todos os erros. Seja respeitoso, mas brutalmente honesto.

6. Espere gastar cerca de uma hora por página, principalmente na internalização dos resultados e técnicas do artigo. Fique agradavelmente surpreendido quando, na verdade, não demorar tanto. (Se levar muito menos tempo que isso, o papel é extremamente elegante e bem escrito, você conhece a área muito bem ou o papel é tecnicamente superficial. Não confunda essas três possibilidades.)

7. Você deve escrever pelo menos tantos relatórios de árbitros quanto as outras pessoas escrevem para você. Se isso levar mais tempo do que escrever seus próprios papéis, você não estará gastando tempo suficiente em seus próprios papéis.

Depende muito da conferência / revista, pois cada comunidade desenvolveu seu próprio estilo, portanto, saber o que é esperado da conferência / revista certamente ajudará um pouco.

1. Quais são os principais critérios para determinar a importância dos resultados de um trabalho? Como julgo se um trabalho deve ser aceito na conferência / revista? É importante verificar a exatidão?

Critérios: Novidade / originalidade, impacto esperado, correção / validade, extensão (quanto do problema é estudado? + Teoremas? + Implementação? + Resultados experimentais?), Qualidade da apresentação. Os critérios para aceitação de periódicos são muito mais altos do que para conferências. Para uma conferência, você atribui uma pontuação com base nos critérios anteriores. Verificar a correção o máximo possível é muito importante, especialmente para artigos de periódicos.

2. Quais são os principais elementos do relatório do árbitro e quais partes são mais importantes? É sempre necessário fazer uma recomendação de (não) aceitação? O que se passa no relatório e o que se passa apenas com o editor?

O relatório dos árbitros contém pelo menos 4 elementos principais: Um resumo do trabalho e suas contribuições; aponta a favor da aceitação do trabalho; pontos contra o papel; principais comentários, incluindo pontos a serem abordados; pequenos comentários (erros de digitação etc.). Você deve sempre dar uma indicação de aceitação ou rejeição ou o grau de revisão necessário. Os comentários ao editor podem incluir: uma avaliação curta, talvez brusca do artigo; qualquer declaração de dúvida; detalhes de possível plágio ou submissão paralela do trabalho; ...

3. Como a avaliação para conferências difere da avaliação em periódicos? Como os relatórios das conferências diferem dos relatórios das revistas? (Como diabos eu avalio minha "confiança" em minha recomendação?) A versão do periódico deve ser significativamente diferente do documento da conferência?

As revisões de periódicos tendem a ser mais extensas e podem incluir muitas coisas para os autores levarem seus artigos a um estado aceitável, como "implementar e avaliar essas idéias". Sua confiança deve basear-se na confiança que você sente. Geralmente isso virá com experiência, então comece sendo conservador. Está fora do seu campo, mesmo que você entenda o papel, ser conservador também é uma boa idéia - é difícil avaliar a originalidade de um papel fora do seu campo. Alguns periódicos dizem que os envios de periódicos devem conter uma quantidade substancial de material novo comparado à versão da conferência. 30% é um número que ouvi.

4. E se eu não entender o jornal? ...a prova? (A culpa é minha ou deles?)

Isso pode variar. Às vezes será sua culpa, às vezes será deles. Use seu julgamento. Talvez peça a um colega que dê uma olhada no jornal. Se você não conseguir entendê-lo totalmente e não for devido a uma formatação ruim, talvez entre em contato com a cadeira do PC e explique que esse é o caso. De qualquer forma, isso deve refletir sua pontuação de confiança. Se o artigo não puder ser entendido devido à falta de redação ou linguagem ou porque foi enviado prematuramente, isso deve ser escrito em seu relatório.

5. E os erros tipográficos / gramaticais? E se houver muitos deles?

Quando eu era jovem, relatava todos os erros de digitação e gramaticais. Agora eu simplesmente não tenho tempo. Relatar alguns é sempre útil: escolha os mais graves. Também recomende que o papel seja revisado (por um falante nativo). Para artigos de jornal, seja mais completo. Se houver muitos erros, não deve ter sido enviado a um diário, o que é o único motivo de rejeição (IMHO).

6. Quanto tempo devo gastar em um relatório?

No máximo, um dia para um trabalho em conferência, incluindo o tempo de leitura. Para artigos de jornal, especialmente os longos, a leitura cuidadosa do artigo pode levar uma semana inteira.

7. Quantos relatórios por ano devo escrever? Quando é aceitável recusar um pedido de árbitro?

A quantidade esperada pode variar entre 5 e 30. Como pesquisador júnior, você receberá alguns para praticar. À medida que avança nas notas, você passa a revisar mais ao se tornar um membro dos PCs. Então, à medida que avança ainda mais, você terá um exército de estudantes de doutorado para fazer sua revisão. Mais de 30 em um ano é bastante oneroso.

Como eu disse acima, eu diria que é apropriado recusar uma solicitação de arbitragem quando (1) você não achar que possui experiência suficiente para fazer uma boa revisão ou (2) tiver muitas revisões (ou outras) compromissos no momento. Também é considerado uma boa forma sugerir um número de possíveis revisores alternativos, no caso de você recusar.

Dou aqui meus 2 centavos e adiciono um sétimo ponto:

1. Quantos relatórios eu tenho que fazer a cada ano?

Minhas respostas

1. Obviamente, os critérios não são os mesmos para conferências e periódicos. Para ambos, a correção é provavelmente o critério mais importante. Então, meu segundo critério é a novidade dos resultados para conferências, enquanto é o impacto dos resultados para os periódicos. Para uma conferência, também é importante avaliar se o artigo é de interesse do público, mas essa é uma decisão que pode ser feita por presidentes de PCs e não por revisores.

2. Antes de tudo, exceto se você suspeitar de uma fraude ou má prática e não tiver certeza (então você deve conversar apenas com o editor), minha opinião é que você deve contar tudo aos autores. Eu acho que é importante ser honesto com os autores e, portanto, sempre dar uma recomendação. Em um relatório, você deve descrever o tópico, os resultados (para que os autores possam entender que você entende o artigo) e, em seguida, avaliar o mérito dos resultados (novidade em relação ao estado da arte, profundidade técnica, correção, clareza) e aponte todos os problemas. Finalmente, você deve dar sua recomendação, possivelmente com conselhos aos autores (como "Acho que esse resultado é bom, mas é mais adequado para a conferência A do que para esta"). Em pouquíssimos casos, você receberá trabalhos que não merecem ser submetidos,

3. Penso que, exceto no caso de um convite para uma edição especial relacionada a um trabalho de conferência, deve haver uma diferença significativa.

4. dois casos: não é compreensível (a culpa é deles); portanto, você pode rejeitar o trabalho por esse motivo ou não é um bom revisor para esse trabalho. Quando isso acontece, você sabe qual é o caso, se não, você está no segundo caso!

5. Eu não sou um falante nativo de inglês, por isso há um viés na minha resposta. Mas acho que não é uma razão para rejeitar um trabalho (exceto em alguns casos extremos).

6. O tempo necessário. Pode variar de 1 hora (um artigo ruim em uma oficina) a vários dias (um artigo muito envolvido em um jornal de topo).

7. Pessoalmente, espero fazer 3 relatórios por artigo que enviei (e sim, é muito, de fato, revisar provavelmente uma das minhas tarefas mais demoradas - antes de ensinar, talvez).