No desenvolvimento da Web, um mashup é uma página da Web ou aplicativo que usa e combina dados , apresentação ou funcionalidade de duas ou mais fontes para criar novos serviços.

Existem muitas fontes para obter dados (informações brutas). Os governos são bons exemplos.
No entanto, muitos deles custam e têm licenças complicadas. Por exemplo, a SMHI na Suécia vende dados de temperatura enquanto isso, nosso país vizinho, Noruega, os distribui gratuitamente.

Alguém poderia dizer que tipo de aplicativo você está construindo e quais dados você precisa? Eu diria que me dê alguns dados interessantes e farei um bom mashup deles. Eu poderia apenas traçá-lo no Google Maps, por exemplo.

Portanto, a pergunta é: onde posso obter dados gratuitos?

Nota: Não estou interessado em mineração de dados usando um webcrawler!

Por favor, compartilhe suas fontes comigo.

Para informações gerais, um bom lugar para começar pode ser a página de dados abertos da Wikipedia - especificamente as partes inferiores da página ( organizações que promovem dados abertos , consulte também e links externos )

Iria transformar o restante deste post em uma lista de fontes de dados com base em país e região ... mas o Guardian UK Newspaper já partiu e compilou um World Government Data Store, então não adianta duplicar o esforço. vou apenas apontar para ...

guardian.co.uk/world-government-data

... para um catálogo de várias Iniciativas de Dados Abertos em nível de país e cidade.
(Não é baseado no Reino Unido, embora pareça se concentrar nos países de língua inglesa.)

No momento da edição, ele contém dados para o Reino Unido, EUA, Austrália, Canadá, Nova Zelândia e Espanha Basca.

Uma coisa que não está listada lá, mas vale a pena mencionar, são os dados de mapeamento do Ordnance Survey UK .

Existem dados em todo o lugar, de todos os tipos. A melhor abordagem é descobrir de que tipo de dados você precisa, encontrar um site que os possua e verificar se o site oferece uma API. No entanto, aqui estão algumas fontes gerais:

• Freebase
• API do MediaWiki
• data.gov

O site do Open Data Protocol lista vários serviços ao vivo de oData em sua página Produtores.

editar> StackExchange tem um serviço oData listado lá.

EUA

API do New York Times

Para um catálogo abrangente de dados do governo dos EUA e formatos suportados, consulte aqui: http://www.data.gov/

A cidade de Nova York possui vários feeds de dados de trânsito gratuitos do MTA .

Há também muitos outros conjuntos de dados públicos interessantes em Nova York, como dados de inspeção de saúde de restaurantes.

Alguém fez a mesma pergunta no Reddit Compsci há um tempo ... aqui está o que eu tinha a dizer então . Eu acho que tudo ainda está de pé.

Vasculhe alguns desses sites, tenho certeza de que há algo para atrair seu interesse.

• / r / conjuntos de dados
• / r / portugal
• http://www.data.gov
• http://data.australia.gov.au/
• http://data.gov.uk
• /stats/7/locating-freely-available-data-samples/
• http://kevinchai.net/datasets/
• http://infochimps.com/datasets
• http://datamob.org/
• http://en.wikipedia.org/wiki/Linked_Data#Datasets
• http://theinfo.org/

Dependendo do que você está tentando fazer, existem toneladas e muitos conjuntos de dados por aí. Um jogo divertido, mas que pode ou não ser relevante para você, é o conjunto de dados de email da Enron . É o resultado de muitos emails corporativos internos da Enron sendo intimados e divulgados ao público durante o grande escândalo da Enron .

E se você não conseguir encontrar exatamente os dados que deseja, não subestime a possibilidade de escrever seu próprio rastreador / raspador. Dependendo dos dados que você deseja, pode ser bastante simples rastrear a Web para obter seu próprio conjunto de dados. Existem todos os tipos de ferramentas - do wget ao apache droids - para ajudá-lo a recuperar informações programaticamente.

O Catálogo de Dados Públicos de Calgary possui algumas coisas da cidade de Calgary, Alberta, Canadá, disponíveis gratuitamente.

O workshop de Ferramentas para Democracia de Dados Abertos e Internet foi um evento realizado em Calgary no último sábado sobre o uso desses dados, assim como algo a divulgar.

Dados da Água

Você pode usar o NOAA para recuperar grandes quantidades de dados para brincar. Eu o usei várias vezes e a API não é tão ruim. Se você não se importa com o quê e simplesmente quanto é para onde eu iria.

Windows Azure Marketplace - embora, a partir de agora, a maioria das fontes de dados diga 'em breve'

Para quem faz AWS, o Amazon Public Datasets pode ser interessante.

A França abriu recentemente um site de dados abertos

Edit: Paris fez também