Quais são as alternativas agora que a API de pesquisa na web do Google foi descontinuada? [fechadas]

A API de pesquisa na web do Google foi descontinuada e substituída pela API de pesquisa personalizada (consulte http://code.google.com/apis/websearch/ ).

Eu queria pesquisar na web inteira, mas parece que, com a nova API, somente sites personalizados podem ser pesquisados.

Existe uma maneira de pesquisar toda a web programaticamente? Consegui consultar a API antiga usando JSON de um programa Java.

Você pode simplesmente enviá-los através de um navegador e, em seguida, analisar o html, é o que eu sempre fiz, mesmo para coisas como o Youtube.

Sim, a Pesquisa personalizada do Google agora substituiu a antiga API de pesquisa, mas você ainda pode usar a Pesquisa personalizada do Google para pesquisar em toda a Web , embora as etapas não sejam óbvias na configuração da Pesquisa personalizada.

Para criar um mecanismo de pesquisa personalizada do Google que pesquisa toda a web:

1. Na página inicial da Pesquisa personalizada do Google ( http://www.google.com/cse/ ), clique em Criar um mecanismo de pesquisa personalizado.
2. Digite um nome e uma descrição para o seu mecanismo de pesquisa.
3. Em Definir seu mecanismo de pesquisa, na caixa Sites a serem pesquisados, digite pelo menos um URL válido (por enquanto, basta inserir www.anyurl.com para passar dessa tela. Mais sobre isso mais tarde).
4. Selecione a edição CSE desejada e aceite os Termos de Serviço e clique em Avançar. Selecione a opção de layout desejada e clique em Avançar.
5. Clique em qualquer um dos links na seção Próximas etapas para navegar para o painel de controle.
6. No menu à esquerda, em Painel de controle, clique em Noções básicas.
7. Na seção Preferências de Pesquisa, selecione Pesquisar na Web inteira, mas enfatize os sites incluídos.
8. Clique em Salvar alterações.
9. No menu à esquerda, em Painel de controle, clique em Sites.
10. Exclua o site digitado durante o processo de configuração inicial.

Agora, seu mecanismo de pesquisa personalizado pesquisará toda a web.

Preços

• A Pesquisa personalizada do Google oferece 100 consultas por dia gratuitamente.
• Depois disso, você paga US $ 5 por 1.000 consultas.
• Há um máximo de 10.000 consultas por dia.

Fonte: https://developers.google.com/custom-search/json-api/v1/overview#Pricing

• A qualidade da pesquisa é muito menor que a pesquisa normal do Google (sem sinônimos, "inteligência" etc.)
• Parece que o Google está planejando desligar esse serviço completamente.

A Pesquisa personalizada do Google (conforme preconizado nas respostas mais bem classificadas) funciona bem, mas é muito cara em comparação com seus concorrentes (abaixo) ou em comparação com outras APIs do Google. Ele tem um pequeno nível gratuito (100 consultas / dia) e um preço muito alto de US $ 5 por 1.000 consultas.

Eles oferecem a opção de atualizar para a Pesquisa no site, que tem preços um pouco melhores, mas isso significa procurar um site (o seu), por isso é realmente algo bem diferente - não uma atualização.

As principais alternativas parecem ser:

API do Bing Search
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44,
que possui um nível gratuito de 5000q / mês e preços a partir de 5 consultas por centavo e sem limite rígido.

ATUALIZAÇÃO: no final de 2016, esta API foi desativada em favor de sua contrapartida do Azure "API de Pesquisa do Bing dos Serviços Cognitivos":
https://azure.microsoft.com/en-us/services/cognitive-services/search/

Veja aqui um gráfico de preços, que começa em US $ 3 / m para 1.000 transações. A menos que eu esteja perdendo algo, é muito caro.

UPDATE da API de pesquisa do Yahoo BOSS : foi descontinuado em 31 de março de 2016. http://developer.yahoo.com/boss/search/
Com preços a partir de cerca de 12 consultas / centavo para pesquisas na Web inteiras.

E alguns dos quais eu nunca ouvi falar antes:

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[descontinuado - conforme indicado abaixo]

Há um pouco de discussão sobre alguns deles neste post do SO .
[foi fechado por estar fora de tópico e agora se foi]

Aqui está uma opção na parte inferior do Painel de controle de pesquisa personalizada: "Sites a pesquisar" , você pode escolher "Pesquisar toda a web, mas enfatizar os sites incluídos"

Faroo tem uma API de Pesquisa na Web gratuita

Acabei de encontrar isso no Common Crawl.

http://www.commoncrawl.org/

Pode ser a resposta que estamos procurando !!

Há uma observação no topo dos documentos :

Observação: a API do Google Web Search foi oficialmente descontinuada em 1 de novembro de 2010. Ela continuará funcionando de acordo com nossa política de descontinuação , mas o número de solicitações que você pode fazer por dia será limitado. Portanto, recomendamos que você mude para a nova API de pesquisa personalizada .

A política de descontinuação diz que eles continuarão executando a API por 3 anos. Portanto, se você já possui um aplicativo que usa a API antiga, não precisa se apressar para mudar as coisas ainda. Se você estiver escrevendo um novo aplicativo, use a API de pesquisa personalizada . Veja minha resposta aqui para saber como fazer isso em Python, mas a idéia é a mesma para qualquer linguagem.

Existe uma API Java gratuita chamada JFreeWebSearch que usa o já mencionado Faroo: http://www.ke.tu-darmstadt.de/resources/jfreewebsearch

Você pode criar o mecanismo de pesquisa personalizado "em qualquer lugar" diretamente da página inicial da Pesquisa personalizada do Google ( http://www.google.com/cse/ ). Você deve apenas clicar em 'avançado', ao adicionar um novo mecanismo. Lá você pode fornecer o tipo de site Schema.org. ' Coisa ' é o tipo mais genérico, que cobre toda a web.

A Gigablast oferece uma API de pesquisa na web barata: http://www.gigablast.com/searchfeed.html