O trabalho principal do Google Analytics é realmente apenas gerar os relatórios e as estatísticas do seu site, como quantas pessoas viram o seu site ontem, qual navegador da web eles usaram, quais páginas eram as mais populares etc. A única maneira de conhecer essas coisas é se você colocar uma "tag" em todas as suas páginas. A tag é o código javascript nas suas páginas que é executado no navegador do visitante, que informa aos servidores do Google Analytics que eles estão visitando a página no momento.
Não há problema se você quiser colocar a tag no arquivo principal do seu site, para que seja exibida em todas as suas páginas. O Google Analytics pode usar o parâmetro "referrer" para descobrir em qual página o visitante está e pode fazer todas as coisas simples, como contar visualizações de página.
No entanto, você pode acompanhar quantas pessoas usam um recurso específico. Talvez você queira agrupar determinadas páginas ou contar alguns URLs semelhantes, mas diferentes, como sendo a mesma página. Agora você precisa de tags exclusivas para todos esses diferentes recursos e grupos de páginas, para que o Google possa identificar qual recurso ou tipo de página foi usado ou visitado. Agora é complicado! Você tem várias tags e deseja que as tags sejam "acionadas" algumas vezes (por exemplo, não acione, a menos que elas cliquem nesse botão ou usem esse recurso).
O Gerenciador de tags do Google facilita o gerenciamento dessa confusão de tags, permitindo que você defina regras para quando suas tags devem ser acionadas. Também permite testar suas tags para garantir que elas apaguem quando você carrega a página correta ou clica em um determinado botão. Isso é feito colocando o código do Gerenciador de tags no seu site, em vez das tags reais, e, como aponta a resposta de Crayon, o gerenciador de tags envia as tags para você. Isso oferece outro benefício interessante: você pode alterar suas tags e a maneira como elas funcionam sem alterar o código-fonte do seu site (o que você pode não conseguir devido aos ciclos de liberação lenta) - em vez disso, basta alterá-lo de no site do Gerenciador de tags do Google, e emitirá códigos diferentes nas suas páginas dinamicamente quando elas forem carregadas no navegador do visitante.