Mesa grande
Um sistema de armazenamento distribuído para dados estruturados
O Bigtable é um sistema de armazenamento distribuído (desenvolvido pelo Google) para gerenciar dados estruturados projetados para serem dimensionados para um tamanho muito grande: petabytes de dados em milhares de servidores comuns.
Muitos projetos no Google armazenam dados no Bigtable, incluindo indexação na web, Google Earth e Google Finance. Esses aplicativos impõem demandas muito diferentes ao Bigtable, tanto em termos de tamanho dos dados (de URLs a páginas da Web em imagens de satélite) quanto em requisitos de latência (do processamento em massa de back-end à veiculação de dados em tempo real).
Apesar dessas demandas variadas, a Bigtable forneceu com sucesso uma solução flexível e de alto desempenho para todos esses produtos do Google.
Algumas funcionalidades
- DBMS rápido e extremamente em grande escala
- um mapa ordenado multidimensional disperso e distribuído, compartilhando características dos bancos de dados orientados a linhas e orientados a colunas.
- projetado para escalar na faixa de petabytes
- funciona em centenas ou milhares de máquinas
- é fácil adicionar mais máquinas ao sistema e começar automaticamente a tirar proveito desses recursos sem nenhuma reconfiguração
- cada tabela possui várias dimensões (uma das quais é um campo para o tempo, permitindo controle de versão)
- as tabelas são otimizadas para o GFS (Google File System) ao serem divididas em vários tablets - os segmentos da tabela são divididos ao longo de uma linha escolhida de forma que o tablet tenha aproximadamente 200 megabytes de tamanho.
Arquitetura
BigTable não é um banco de dados relacional. Ele não oferece suporte a junções nem a consultas avançadas do tipo SQL. Cada tabela é um mapa esparso multidimensional. As tabelas consistem em linhas e colunas e cada célula tem um carimbo de hora. Pode haver várias versões de uma célula com carimbos de hora diferentes. O registro de data e hora permite operações como "selecione as versões desta página da Web" ou "exclua células anteriores a uma data / hora específica".
Para gerenciar as grandes tabelas, o Bigtable divide as tabelas nos limites das linhas e as salva como tablets. Um tablet tem cerca de 200 MB e cada máquina economiza cerca de 100 comprimidos. Essa configuração permite que tablets de uma única tabela sejam distribuídos entre muitos servidores. Ele também permite o balanceamento de carga refinado. Se uma tabela estiver recebendo muitas consultas, ela poderá liberar outros tablets ou mover a tabela ocupada para outra máquina que não esteja tão ocupada. Além disso, se uma máquina cair, um tablet poderá se espalhar por muitos outros servidores, para que o impacto no desempenho de qualquer máquina seja mínimo.
As tabelas são armazenadas como SSTables imutáveis e um final de logs (um log por máquina). Quando uma máquina fica sem memória do sistema, compacta alguns tablets usando técnicas de compressão proprietárias do Google (BMDiff e Zippy). As pequenas compactação envolvem apenas alguns tablets, enquanto as principais compactação envolvem todo o sistema de tabelas e recuperam espaço no disco rígido.
Os locais dos tablets Bigtable são armazenados nas células. A pesquisa de qualquer tablet em particular é realizada por um sistema de três camadas. Os clientes obtêm um ponto para uma tabela META0, da qual existe apenas uma. A tabela META0 controla muitos tablets META1 que contêm os locais dos tablets que estão sendo procurados. O META0 e o META1 fazem uso intenso de pré-busca e armazenamento em cache para minimizar gargalos no sistema.
Implementação
BigTable é construído no sistema de arquivos do Google (GFS), usado como repositório de arquivos de log e dados. O GFS fornece armazenamento confiável para o SSTables, um formato de arquivo proprietário do Google usado para manter os dados da tabela.
Outro serviço que o BigTable faz uso pesado é o Chubby , um serviço de bloqueio distribuído confiável e altamente disponível. O Chubby permite que os clientes bloqueiem, possivelmente associando-o a alguns metadados, que podem ser renovados enviando mensagens mantidas ativas de volta ao Chubby. Os bloqueios são armazenados em uma estrutura de nomeação hierárquica semelhante ao sistema de arquivos.
Existem três tipos principais de servidores de interesse no sistema Bigtable:
- Servidores principais: atribua tablets a servidores de tablet, monitora onde os tablets estão localizados e redistribui as tarefas conforme necessário.
- Servidores de tablet: lida com solicitações de leitura / gravação de tablets e tablets divididos quando excedem os limites de tamanho (geralmente de 100 MB a 200 MB). Se um servidor de tablet falhar, 100 servidores de tablet capturam 1 novo tablet e o sistema se recupera.
- Servidores de bloqueio: instâncias do serviço de bloqueio distribuído Chubby. Muitas ações no BigTable exigem a aquisição de bloqueios, incluindo a abertura de tablets para gravação, garantindo que não haja mais de um Mestre ativo por vez e verificação de controle de acesso.
Exemplo do trabalho de pesquisa do Google:
Uma fatia de uma tabela de exemplo que armazena páginas da Web. O nome da linha é um
URL invertido . A família de colunas de conteúdo contém o conteúdo da página e a família de colunas de âncora contém o
texto de qualquer âncora que faça referência à página. A home page da CNN é referenciada pelas home pages Sports Illustrated e MY-look, portanto, a linha contém colunas nomeadas
anchor:cnnsi.come
anchor:my.look.ca. Cada célula âncora possui uma versão ; a coluna de conteúdo possui três versões , nos registros de data t3e hora
t5, e t6.
API
As operações típicas do BigTable são criação e exclusão de tabelas e famílias de colunas, gravação de dados e exclusão de colunas de uma linha. O BigTable fornece essas funções para desenvolvedores de aplicativos em uma API. As transações são suportadas no nível da linha, mas não em várias chaves de linha.
Aqui está o link para o PDF do trabalho de pesquisa .
E aqui você pode encontrar um vídeo mostrando Jeff Dean, do Google, em uma palestra na Universidade de Washington , discutindo o sistema de armazenamento de conteúdo Bigtable usado no back-end do Google.
