Alguém sabe como o Google ou o Yahoo realizam pesquisas por palavras-chave em quantidades muito grandes de dados? Que tipo de banco de dados ou tecnologias eles empregam para isso?
Demora alguns milissegundos, mas eles têm mais de um bilhão de páginas indexadas.
Respostas:
Tenho certeza de que há uma combinação de coisas:
muito disso - os dados são distribuídos e replicados em muitos nós e em diferentes data centers
Pombos .
O coração da tecnologia de pesquisa do Google é o PigeonRank ™ , um sistema de classificação de páginas da web desenvolvido pelos fundadores do Google, Larry Page e Sergey Brin, da Stanford University:
Com base no trabalho inovador de BF Skinner, Page e Brin consideraram que os PCs (clusters de pombos) de baixo custo poderiam ser usados para calcular o valor relativo das páginas da Web mais rapidamente do que editores humanos ou algoritmos baseados em máquinas. E embora o Google tenha dezenas de engenheiros trabalhando para melhorar todos os aspectos de nosso serviço diariamente, o PigeonRank continua a fornecer a base para todas as nossas ferramentas de pesquisa na web.
Por que o PigeonRank ™ patenteado do Google funciona tão bem
O sucesso do PigeonRank se baseia principalmente na capacidade de treinamento superior do pombo doméstico (Columba livia) e em sua capacidade exclusiva de reconhecer objetos, independentemente da orientação espacial. O pombo cinza comum pode facilmente distinguir entre os itens que exibem apenas as menores diferenças, uma capacidade que permite selecionar sites relevantes entre milhares de páginas semelhantes.
Ao coletar bandos de pombos em grupos densos, o Google é capaz de processar consultas de pesquisa em velocidades superiores às dos mecanismos de pesquisa tradicionais, que normalmente se baseiam em aves de rapina, galinhas ninhadas ou aves aquáticas de movimento lento para fazer suas classificações relevantes.
Quando uma consulta de pesquisa é enviada ao Google, ela é roteada para uma cooperativa de dados onde monitora as páginas de resultados em flash em velocidades incríveis . Quando um resultado relevante é observado por um dos pombos do cluster, ele atinge uma barra de aço revestida de borracha com o bico, o que atribui à página o valor PigeonRank de um. Para cada selinho, o PigeonRank aumenta . As páginas que recebem mais selos são retornadas na parte superior da página de resultados do usuário com os outros resultados exibidos em hierarquia.
É importante ter em mente algumas coisas sobre o Google:
O banco de dados deles é o BigTable proprietário - ele foi projetado pelo GOOGLE para atender exatamente às suas necessidades
Seu banco de dados proprietário é construído sobre o sistema de arquivos proprietário - Google File System - ele foi projetado, novamente pelo GOOGLE , para ser facilmente expansível usando hardware comum. Como Aaron mencionou em sua resposta, eles têm um grande número de servidores médios em vez de um pequeno número de servidores muito poderosos.
Eles armazenam tabelas individuais em várias máquinas como uma maneira de tornar o acesso mais rápido - o software deles sabe quais dados estão em qual máquina e, em vez de passar por um disco para localizá-los, pode ir diretamente ao servidor com as informações relevantes.
O Google não usa a tecnologia tradicional de banco de dados relacional. Ele desenvolveu sua própria tecnologia, grande mesa e mapa reduzir. Os trabalhos de pesquisa originais estão aqui: Big Table e Map / Reduce . Também é interessante a tabela de cadeias classificadas SSTable .
Tecnologia semelhante agora é usada no hadoop e nos bancos de dados NoSQL .
Leia " In The Plex: como o Google pensa, funciona e molda nossas vidas ", de Steven Levy . Este livro é uma leitura fascinante sobre todas as coisas do Google e discute em alto nível parte da tecnologia e engenharia por trás da pesquisa. Aaron resume muito bem em sua resposta e o livro de Levy fornecerá mais detalhes sobre como eles fazem isso.