Como posso acompanhar o uso do meu recurso de nuvem?

Estou tentando automatizar minha implantação de aplicativos da AWS com o Jenkins.

No momento, se queremos atualizar o aplicativo em qualquer um dos ambientes, digamos UAT, construímos nossas imagens de janela de encaixe, localizamos a tarefa atual do ECS e atualizamos com a nova imagem, localizamos o ECS Cluster em execução e atualizamos as tarefas.

Em termos gerais, qual é a melhor prática para acompanhar os IDs de recursos da nuvem (IDs de cluster do ECS, IDs de tarefa do ECS, IDs do EC2 etc.) no seu ambiente de integração contínua?

Um uso criterioso de uma das ferramentas de "orquestração" da nuvem, como Terraform ou possivelmente Fugue, parece ser o melhor caminho.

Você pode começar pequeno, escolher um ambiente menos importante e não muito extenso, decifrá-lo cuidadosamente em código automatizável e prosseguir a partir daí.

Em termos gerais, isso é chamado de infraestrutura como código, para pesquisar no Google e em outros aplicativos de mídia orientados a buzzword.

Mais especificamente, digamos, se você tivesse seu ambiente descrito nos arquivos HCL da Terraform, teria exigido que os IDs fossem exportados como "saídas" e poderia operar com os de scripts / trabalhos de Jenkins / etc

A Netflix apresentou seu método de lidar com o problema da expansão de recursos. Eles criaram o Janitor Monkey, que é responsável por limpar os recursos quando é evidente que eles não estão sendo usados.

Para rastrear os recursos criados no Amazon AWS, gere um log de auditoria e permita pesquisar no tempo (e no histórico) que eles também criaram o Edda . O Edda permite armazenar e pesquisar seus recursos da AWS.

Há alguma menção de que o Janitor Monkey possa estar integrado ao Edda, mas eles não publicaram muita informação sobre isso desde então.

Hoje, com o AWS CloudTrail e o AWS Config Rules , é possível obter resultados semelhantes sem o software de terceiros. Quando Edda e Janitor Monkey foram anunciados (2012-2013), esses dois serviços ainda não estavam prontos para resolver esses tipos de problemas.

Com CloudTrail e Config, o rastreamento de recursos já está em vigor. Tudo o que você precisa fazer é escrever um script que decida o que fazer com isso, revisando a lista de tempos em tempos.