Sistema de prevenção de atividades ilegais (pornografia infantil, crueldade contra animais, ...)

É um tópico muito sensível que requer uma solução do nosso lado. Eu tenho poucos servidores que alugo para poucas pessoas. Eu tenho todas as permissões e direitos legais para verificar os servidores.

Quero impedir que as pessoas armazenem pornografia infantil, crueldade com animais ou outros vídeos de natureza semelhante. A primeira prioridade é evitar a pornografia infantil, pois é a questão mais delicada.

Tentei pesquisar online por soluções, mas não consegui encontrar muitas pessoas sequer discutindo sobre esse assunto, acredito principalmente porque é considerado um tópico tabu da discussão.

Um dos meus pensamentos era procurar nos servidores por assinaturas de arquivos conhecidos. Existe esse banco de dados em algum lugar?

Sei que grandes empresas como a GoDaddy possuem esse sistema de prevenção, mas como proprietário de uma pequena empresa, o que posso fazer?

Existem vários programas governamentais e da indústria que fornecerão Hashes de material "Conhecido por Mau" (por exemplo, CP) para provedores de hospedagem. Em seguida, você pode fazer o hash dos arquivos nos servidores e comparar. Abaixo estão alguns que eu conheço:

1. HashKeeper
   Descontinuado, administrado pelo Departamento de Justiça dos EUA
   http://www.nsrl.nist.gov/RDS/rds_2.44/Hashkeeper-RDS244-split.zip
2. DCMEC HVSI
   Dirigido pelas crianças desaparecidas sem fins lucrativos
   http://www.missingkids.com/Exploitation/Industry
3. NIST NSRL
   Hashes para arquivos de software, principalmente para evitar a pirataria de software
   http://www.nsrl.nist.gov/Downloads.htm

Outras notas:

1. Ele será chamado de "CP" em qualquer lugar para evitar o uso do termo real. É esse tabu.
2. A lei nos EUA é bastante razoável quando se trata de responsabilizar os provedores de serviços pelo que seus clientes colocam em seus servidores. Faça esforços mínimos para evitar abusos, comunique políticas de abusos aos usuários e tenha procedimentos para lidar com violações de políticas.
3. O CP é o mais "sensível" possível. Certifique-se de que sua resposta inclua contato com as autoridades imediatamente após qualquer violação conhecida do CP - não adultere os dados ou o servidor, entre em contato com as autoridades primeiro. As autoridades o aconselharão sobre quais etapas você deve seguir a partir daí.

Além da resposta de Chris sobre a CP, gostaria de salientar que a maneira como os caras grandes lidam com isso é:

1. Usando bancos de dados contendo valores de hash de material defeituoso conhecido
   • Essa nem é uma solução particularmente eficaz, porque a menor alteração altera o hash
   • Geralmente, ou geralmente mantêm seu próprio banco de dados, além de quaisquer bancos acessíveis ao público
2. Relatórios de usuários
   • Sob a forma de contatos de email ( abuse@whatever.tld)
   • Links de relatórios para sites com contato gerado pelo usuário ( click here to report this)
3. Pagar aos seres humanos reais para revisar o conteúdo ou autorizar o conteúdo antes do upload
   • A MPAA e a RIAA, por exemplo, empregam dezenas de pessoas para vasculhar a web em busca de materiais protegidos por direitos autorais.

Então, para você, isso significa basicamente que não haverá uma ótima maneira de filtrar material censurável que não seja ilegal, porque o material questionável precisa ser identificado por uma pessoa. A maior parte do que é identificado nunca encontra seu caminho no banco de dados acessível ao público, e mesmo o que é encontrado é facilmente alterado para contornar as verificações de hash. Portanto, o ponto principal é que você realmente não pode impedir esse tipo de comportamento e tudo o que você pode fazer é reagir quando isso acontecer.

E lembre-se de que, se você começar a varrer o conteúdo de um tipo de material censurável, deverá procurar outros tipos. A lei varia de um lugar para outro, é claro, mas se você estiver pesquisando CP, vídeos de crueldade contra animais e etc., mas não procurar mídia pirateada, se alguém usar seu servidor para hospedar materiais com direitos autorais, têm dificuldade em evitar a responsabilidade por isso. Então ... bem, nada é simples, não é?

Infelizmente, como Chris S mencionou as hashlists, elas são inúteis. O comando a seguir alterará o hash de um arquivo, mas o deixará completamente reproduzível:

$ echo '0' >> pornfile.mp4

A verdade é que muitas empresas que lidam principalmente com vídeos enviados por usuários fazem com que os humanos analisem cada arquivo . Veja esta pergunta relacionada para as consequências! Portanto, se sua empresa principal for um vídeo enviado por usuários, recomendo que sua empresa instale um sistema de revisão humana.