Quão legal é obter dados de uma API 100% acessível, mas não "exposta"

Encontrei um site que fornece uma enorme tabela filtrável com dados atualizados sobre as cidades de um país. Este site usa uma abordagem de rolagem infinita para carregar as linhas da tabela.

Ao explorar o site usando as Ferramentas de desenvolvedor do Chrome, descobri que ele faz solicitações AJAX para algum URL interno para obter os dados. Este URL inclui muitos parâmetros de consulta correspondentes aos filtros.

Tentei acessar esse URL diretamente no meu navegador e estou obtendo todos os dados em um bom formato JSON. Posso até brincar com os filtros para obter os dados concretos de que preciso. Esse URL é realmente acessível, então eu não preciso fazer nada hacky ; estou apenas chamando um URL que está lá na rede.

Portanto, minha pergunta é: quão legal ou ilegal é para mim usar esse URL para recuperar os dados para meus próprios fins?

Nota : não quero criar o mesmo tipo de lista de cidades, mas quero usar esses dados para criar um pequeno jogo online, potencialmente para ganhar um pouco de dinheiro ...

Notas importantes sobre algumas respostas e comentários

Este é apenas um cenário de exemplo, não estou procurando um lugar para coletar dados sobre cidades. Considere um site com dados sobre o desempenho atualizado dos jogadores de futebol em uma temporada, se desejar.

Quanto ao país concreto, novamente, não estou pensando em uma legislação específica, se você conhece um país onde é claramente (il) legal, essas informações serão úteis.

Deixe-me ser claro. Há uma coisa que sei muito bem: é a lei de direitos autorais. Não sou advogado, no entanto, o conhecimento de direitos autorais era um requisito constante da minha consultoria por 30 anos. Como um bônus adicional, consultei principalmente os telecos e trabalhei com dados de assinantes e análise de dados e apresentação desses dados para venda e reutilização. Eu sou, pelo menos, exclusivamente qualificado para responder a esta pergunta neste fórum.

Vou explicar isso da melhor maneira possível: por um, definindo versos proprietários de meios comuns; dois, definindo a exceção do caso citado e outras considerações relacionadas a direitos autorais; e três, sendo claro na resposta.

Deixe-me esclarecer alguns direitos autorais. O exemplo de uma lista telefônica é um nome impróprio. Quando você recebe um telefone, celebra um contrato de contrato privado como cidadão privado de uma empresa privada e as informações resultantes, tornadas públicas ou não, são dados proprietários privados e, portanto, o conteúdo de uma lista telefônica é proprietário (preste atenção esta palavra) simplesmente porque não pode ser obtido geralmente por outros meios, exceto por fontes de dados da empresa - os dados do assinante. Se os dados puderem ser obtidos por meios comuns, como caminhar e escrever números de casas e nomes de ruas, esses dados serão disponibilizados ao público e serão claros para uso. Isso não quer dizer que os números de telefone não possam ser obtidos por meios comuns. Pode ser.

Para esclarecer mais. Para citar: http://www.lib.umich.edu/copyright/facts-and-data

Em nenhum caso a proteção de direitos autorais de uma obra original de autoria se estende a qualquer idéia, procedimento, processo, sistema, método de operação, conceito, princípio ou descoberta, independentemente da forma em que é descrita, explicada, ilustrada ou incorporada nesse trabalho.

Este parágrafo é enganoso. Esta exceção descrita neste parágrafo é coberta por patentes e outras leis. Os direitos autorais se estendem apenas à criação de uma obra.

O:

Doutrina do "suor da testa"

... refere-se a qualquer atividade, como ir de casa em casa e reunir os dados manualmente. Esta é a definição de meios comuns. É possível bater nas portas e pedir os mesmos dados telefônicos. Somente na medida em que você puder reunir os fatos por meios comuns, esses dados ou parte dos dados proprietários serão públicos.

A maneira comum de usar os dados do telefone é: primeiro, obter os dados originais por meios legais; e dois, aplique a doutrina do uso justo. Isso implicaria obter uma cópia da lista telefônica diretamente da empresa, que pode ser gratuita ou gratuita, e organizar os fatos de maneira diferente, de modo a criar um novo trabalho. Você tentou obter uma lista telefônica de Seattle quando está em Chicago? Você descobrirá que a companhia telefônica provavelmente cobrará uma taxa surpreendente por isso. No entanto, se você é um assinante de telefone em Seattle e solicita uma lista telefônica de Seattle, a taxa seria muito menor ou mesmo gratuita. Eu tive que fazer isso muitas vezes. Há pessoas que trabalham apenas para obter listas telefônicas pessoalmente dos telecos e pagar a taxa, se necessário.

A decisão citada no caso Feist Publications v. Rural Telephoneno link acima (nesta resposta), depende de dois fatos: um, sendo que os dados do operador da cooperativa rural como monopólio local precisavam ser disponibilizados ao público por acordo operacional; e dois, que a apresentação do trabalho era protegida por direitos autorais e não pelos fatos contidos devido ao fato # 1. Portanto, somente dentro de parâmetros estreitos esse caso pode ser considerado um caso precedente e deve ser descartado. Normalmente, os dados de assinantes de empresas privadas não exigem que o contrato seja tornado público. Você deve se lembrar que as cooperativas rurais são estabelecidas como entidades / entidades de confiança públicas para o bem público e pertencem ao público e / ou membros da cooperativa e, portanto, operam sob restrições legais que permitem que ela seja aprovada para operar ou existir. Cada caso é diferente.

Nos primeiros dias da empresa Bell Telephone, a empresa era obrigada como monopólio a tornar públicos os dados telefônicos, a menos que restritos pelo assinante. Quando a empresa Bell foi dividida no bebê Bells, Bell Atlantic, Bell South e assim por diante, essas empresas ainda eram obrigadas como monopólios a tornar públicos os dados telefônicos, conforme definido anteriormente. Porém, com a desregulamentação e, de fato, com VoIP, celular e outras opções, os monopólios são raros. Somente em cenários de monopólio é possível argumentar acima.

Continuando a citar o link acima (nesta resposta):

Só porque os dados não são protegidos por direitos autorais, não significa que não haja outras considerações legais que possam entrar em jogo quando você desejar usar o conjunto de dados de outra pessoa.

Mantenha isso em mente.

Qualquer conjunto de dados fornecido e a apresentação, independentemente da origem dos dados, é um trabalho em si. A apresentação pública dos fatos, independentemente dos meios, é uma obra em si.

Dado que você não está obtendo os dados por meios comuns, mesmo que os dados sejam tornados públicos, e independentemente da origem original dos dados, não é livre para usar como você descreveu e você pode ser acusado criminalmente e responsabilizado civilmente por possíveis violações de direitos autorais, bem como transgressões criminais e uso ilícito de computadores e outros equipamentos de comunicação normalmente não autorizados e podem estar abrangidos pelos estatutos da RICO.

É legal usar? Não! Absolutamente não! Não foi obtido por meios comuns, nem é provável que o operador do site exponha dados proprietários. Qualquer ausência de uma AUP (política de uso aceitável) não ajudará. Existem suposições feitas sob a lei quanto ao "homem razoável", "padrão razoável" e "suposição razoável" que protegem o proprietário do site nesse caso. Não é razoável que uma pessoa inteligente use uma "vulnerabilidade no design / criação" do site para obter dados para outro uso. Além disso, se o site lucrar com suas atividades, outras proteções entram em jogo.

Uma coisa que não parece muito clara nas outras respostas aqui ...

Seja "legal" ou não, em primeiro lugar, depende do país. Se estamos falando dos Estados Unidos, por exemplo, o uso dos dados em si não é ilegal. No entanto, aconselho você a usar os dados reais do censo dos EUA. Eles oferecem toneladas de dados através do que chamam de produtos TIGER. Esse conjunto de dados é o mesmo que os profissionais de GIS usam para preencher mapas do Bing, mapas do Google etc.

No entanto, embora os dados possam estar disponíveis gratuitamente, isso não significa necessariamente que os dados dessa API exposta estejam legalmente disponíveis. Você diz que está no formato JSON, o que sugere que foi 'massageado' do formato original para esse formato - e que o formato personalizado pode estar sob propriedade intelectual. Aquele, Acredito, seria ilegal de usar, a menos que você tenha licença para usá-lo. Como outros aqui, não sou advogado, mas a empresa nem precisa apontar o dedo para você e chamá-lo de hacker. Dados proprietários são dados proprietários, mesmo que sejam entregues sem intenção. Você deve entrar em contato com a empresa e informar que todos esses dados estão expostos ao mundo externo e pedir permissão para usá-los. Sem fazer isso, e tendo essa pergunta na troca de pilhas como evidência, seria fácil construir um caso contra você. Você basicamente disse: "Isso não parece legítimo, mas eu gosto de qualquer maneira e quero ganhar dinheiro com isso". Novamente, não sou advogado, mas isso não parece uma ótima maneira de iniciar um julgamento.

O problema é que, se você estiver interessado em nomes de cidades e outros dados geográficos, quase tudo estará disponível gratuitamente, independentemente do país. A última vez que soube, os EUA publicam mais dados, mas existem dados disponíveis para praticamente todos os países. Eu hesito em dizer tudo apenas porque sou programador e provar que uma declaração "para todos" é difícil ... se você escolher um país arbitrário, as chances são melhores do que boas de que os dados estejam disponíveis. Se você tem um país específico em mente, vá para o GIS Stack Exchange . A principal coisa que você procura é chamada de "shapefiles", então faça uma pergunta como "Onde posso obter shapefiles para __________?" Há também o OpenStreetMapque é um mapa de código aberto. Não sei ao certo como é fácil obter os dados do shapefile, mas se você pode obtê-los (e não vejo por que você não conseguiria, você pode executar mapas offline com base localmente) informações armazenadas), então você tem todos os dados necessários e está legalmente livre. Você terá que gastar tempo massageando grandes quantidades de dados da maneira que desejar, mas os arquivos de forma são sempre muito bem definidos e fáceis de analisar.

Embora o closetnoc tenha discutido a questão dos dados em si, há uma preocupação legal maior: você não está autorizado a acessar a API que oferece os dados.

A linha de base para a maioria das leis sobre crimes de computador envolve a noção de "acesso não autorizado a um sistema de computador". Você não deve confundir essa referência à autorização no sentido legal com o conceito de autorização quando se trata de controle de acesso. O proprietário de um sistema não precisa garantir seu sistema para que o acesso seja ilegal, assim como você ainda está invadindo quando entra em uma casa com uma porta destrancada.

Nesse caso, a aparente falta de segurança não implica uma autorização para usá-lo. Até agora, o conceito de internet tem pouco precedente na jurisprudência, mas você pode imaginar o uso do protocolo HTTP 80 para implicar autorização pública para visualizar um site. Contrariamente, os protocolos RPC em segundo plano (mesmo que possam ser executados em solicitações HTTP) normalmente não são entendidos como publicamente disponíveis, a menos que o operador publique o serviço como tal, concedendo autorização de uso para terceiros.

Portanto, o uso contínuo da API para recuperar dados seria ilegal. O ato de obter um despejo de dados da API para criar seu próprio conjunto de dados também seria ilegal. Se o uso dos dados depois disso é ilegal é uma área cinzenta gigante, mas o closetnoc cobriu a maioria das preocupações.

Obviamente, se você modificar o despejo de dados após o fato de ser irreconhecível, será quase impossível provar que você cometeu um crime. Mas se você estiver enfrentando tantos problemas, por que não buscar os dados de uma fonte legal?

Provavelmente depende da natureza dos dados. Dados puros (pense na lista telefônica) não podem ter direitos autorais . Portanto, uma lista de cidades de uma API deve ser um jogo justo para copiar e mostrar aos usuários. No entanto, se essa API tiver descrições da cidade, essas descrições se enquadrarão na lei de direitos autorais e você não poderá usá-las sem violar os direitos autorais.

Se você pode copiar legalmente os dados, recomendo copiá-los para o seu próprio site para impedir que o uso da API seja interrompido prematuramente.

(IANAL, e leis e normas variam muito em todo o mundo, mas certas coisas tendem a permanecer consistentes devido aos tratados de PI. Se você tiver um problema profissional fora da sua especialidade, consulte um profissional.)

Geralmente, legalmente, uma API não é considerada "destinada ao consumo público", a menos que esteja documentada ativamente como uma API pública, com termos de serviço especificados. O fato de o público poder acessar a API não a torna pública.

Nos casos em que o status dos dados em si não é totalmente de domínio público, e em alguns casos em que claramente é de domínio público, a intenção da entidade que fornece a API é muito importante. Se o operador do site pretender que a API seja usada para alimentar uma página da Web dinâmica ou um aplicativo móvel (para citar dois exemplos comuns), qualquer outro uso será "não autorizado", a menos que seja especificamente autorizado em algum lugar. Se o consumidor pretendido era um trecho de código dinâmico em uma página específica da web, com o objetivo de colocar pixels compreensíveis para humanos em uma exibição de uma maneira específica, (esperançosamente) agradável e útil, qualquer outro uso não é autorizado.

A capacidade técnica de entrar em um edifício através de uma janela aberta sem abrir ou quebrar nada não o protegerá de ser preso por transgressão criminal ...

Além disso, quase nunca é aconselhável jogar jogos de "habilidade técnica" vs "intenção original" com um advogado de propriedade intelectual. Se nada mais, lembre-se de que os advogados que constantemente perdem esses casos não continuam sendo pagos por eles.

O que você está falando provavelmente está bem. Você está vinculando informações e transformando-as.

Em Perfect 10, Inc. v. Amazon.com, Inc. [19], o Nono Circuito novamente considerou se o uso de miniaturas de um mecanismo de busca de imagens era um uso justo. Embora os fatos fossem um pouco mais próximos do que no caso Arriba Soft, o tribunal, no entanto, considerou o uso do infrator acusado justo porque era "altamente transformador". O tribunal explicou:

Concluímos que a natureza significativamente transformadora do mecanismo de pesquisa do Google, principalmente à luz de seu benefício público, supera os usos comerciais e substitutos do Google das miniaturas nesse caso. (...) Também estamos cientes da orientação da Suprema Corte de que "quanto mais transformadora for a nova obra, menor será o significado de outros fatores, como o comercialismo, que podem pesar contra uma descoberta de uso justo".

Além disso, o tribunal abordou especificamente o status dos direitos autorais da vinculação, na primeira decisão de apelação dos EUA a fazê-lo:

O Google não… exibe uma cópia de imagens fotográficas infratoras em tamanho real para fins da Lei de Direitos Autorais quando o Google enquadra imagens vinculadas em linha que aparecem na tela do computador do usuário. Como os computadores do Google não armazenam as imagens fotográficas, o Google não possui uma cópia das imagens para fins da Lei de Direitos Autorais. Em outras palavras, o Google não possui "objetos materiais ... nos quais uma obra é fixada ... e a partir da qual a obra pode ser percebida, reproduzida ou comunicada de outra forma" e, portanto, não pode comunicar uma cópia.Em vez de comunicar uma cópia da imagem, o Google fornece instruções em HTML que direcionam o navegador de um usuário ao computador de um editor de site que armazena a imagem fotográfica em tamanho real. O fornecimento dessas instruções HTML não é equivalente a mostrar uma cópia. Primeiro, as instruções HTML são linhas de texto, não uma imagem fotográfica. Segundo, as instruções HTML não fazem com que imagens infratores apareçam na tela do computador do usuário. O HTML apenas fornece o endereço da imagem ao navegador do usuário. O navegador então interage com o computador que armazena a imagem infratora. É essa interação que faz com que uma imagem infratora apareça na tela do computador do usuário. O Google pode facilitar o acesso do usuário a imagens violadas. Contudo, essa assistência levantou apenas questões de responsabilidade contributiva e não constitui violação direta dos direitos de exibição do proprietário dos direitos autorais. … Embora o link e o enquadramento in-line possam fazer com que alguns usuários de computador acreditem estar visualizando uma única página do Google, a Lei de direitos autorais, diferentemente da Lei de marcas registradas, não protege o detentor dos direitos autorais contra atos que causam confusão no consumidor.

Estado da lei dos EUA após Arriba Soft e Perfect 10

O caso Arriba Soft defendia a proposição de que a vinculação profunda e a reprodução real em cópias de tamanho reduzido (ou preparação de obras derivadas de tamanho reduzido) eram desculpáveis ​​como uso justo, porque o uso da obra pelo réu não desviou de fato ou potencialmente o comércio de o mercado desde o primeiro trabalho; e também forneceu ao público uma função muito útil, anteriormente indisponível, do tipo que a lei de direitos autorais existe para promover (encontrar as informações desejadas na Web). O caso Perfect 10 envolveu considerações semelhantes, mas houve maior equilíbrio de interesses. A conduta foi justificada porque o valor para o público da função útil que, de outro modo, não estava disponível, superava o impacto no Perfect 10 do uso possivelmente substituto do Google.

Além disso, no Perfect 10, o tribunal estabeleceu um precedente de amplo alcance em favor da vinculação e do enquadramento, que o tribunal deu um passe completo sob direitos autorais. Concluiu que "a vinculação e o enquadramento em linha podem fazer com que alguns usuários de computador acreditem estar visualizando uma única página do Google, [mas] a Lei de Direitos Autorais ... não protege um detentor de direitos autorais contra atos que causam confusão no consumidor".

Ênfase minha. linky

Você está simplesmente usando um hiperlink, não está fazendo uma cópia, não está exibindo uma cópia, não está prejudicando os interesses dos negócios e está transformando-a. Eu diria que você tem todos os elementos necessários para ficar bem. Mas, IANAL.

É legal, desde que você não precise digitar uma senha para obtê-la, mas algumas empresas menos sofisticadas podem reivindicar hackers e solicitar um advogado a você de qualquer maneira. Você deve estar preparado para se defender. Você será considerado inocente, pois eles publicam seus dados ao público, mas pode custar-se para se defender. Os promotores e os policiais diferem para as corporações. Isso acontece frequentemente em avisos de segurança, em que alguém notifica uma empresa sobre uma falha de segurança e, em seguida, a empresa os cobra por hackers. A empresa também é livre para alterar a API sem aviso prévio, possivelmente quebrando seu aplicativo.

http://www.extremetech.com/computing/146323-canadian-college-expels-student-for-white-hat-security-probing

Pare-me se você já ouviu isso antes: um entusiasta da tecnologia fica um pouco zeloso em verificar falhas de segurança, encontra uma vulnerabilidade significativa, avança com as informações e ameaças legais e pessoais são feitas.

http://www.bostonglobe.com/metro/2014/03/29/the-inside-story-mit-and-aaron-swartz/YvJZ5P6VHaPJusReuaN7SI/story.html

O intruso estava escondido em algum lugar do campus do MIT, baixando artigos de periódicos acadêmicos às centenas de milhares.