Estou procurando ferramentas que ajudem a mim e à minha equipe a anotar conjuntos de treinamento. Eu trabalho em um ambiente com grandes conjuntos de dados, alguns dos quais são un ou semi-estruturados. Em muitos casos, existem registros que ajudam a encontrar uma verdade fundamentada. Em muitos casos, porém, é necessário um conjunto com curadoria, mesmo que fosse apenas para avaliação. Um fator complicador é que alguns dos dados não podem sair da premissa.
Queremos anotar uma tarefa de detecção de objetos, mas prevejo uma tarefa de segmentação de imagens, uma tarefa de classificação de texto e uma tarefa de detecção de sentimentos em um futuro próximo.
O que estou procurando é um sistema que possa ajudar um grupo a fazer uma anotação, de preferência de uma maneira que motive os anotadores, mostrando o progresso do grupo, o progresso individual relativo e, talvez, o acordo pessoal do anotador.
