Como verificar o preço spot da AWS automaticamente?

Estive pensando em um trabalho de Jenkins para verificar o preço das caixas de agente que fabricamos; de vez em quando o preço aumenta e leva uma ou duas horas antes que alguém perceba que não há novos agentes chegando, e então precisamos entrar manualmente e verificar o preço à vista e ajustar de acordo, ou mudar de zona etc.

Meu primeiro instinto foi que o melhor caminho é ter um trabalho Jenkins por hora que execute aws ec2 describe-spot-instance-requestsae verifique se há solicitações com falha (e depois nos atrasa em uma falha). Mas estou imaginando se existe um método mais limpo que envolva realmente comparar preços rígidos (e, portanto, poderia nos dizer exatamente o que está acontecendo e quanto), em vez de analisar solicitações bem-sucedidas / com falha.

Alguém criou algo semelhante? Como você fez isso?

Detectou uma ferramenta de código aberto chamada autospotting que pode ajudar com isso:

Uma vez ativado em um grupo AutoScaling sob demanda existente, ele lança uma instância local do EC2 que é mais barata, pelo menos tão grande e configurada de forma idêntica às suas instâncias sob demanda atuais. Assim que a nova instância estiver pronta, ela será adicionada ao grupo e uma instância sob demanda será desanexada do grupo e encerrada.

Temos isso em nosso pipeline de tarefas, poderemos adicionar mais contexto assim que terminarmos.

Atualizar:

Outra ferramenta que foi recentemente demonstrada em uma conferência foi mapbox / spotswap

Isso funciona de maneira um pouco diferente. Ele monitora um ASG normal com instâncias On Demand ou Reservadas e, em seguida, se houver escala, os lances e as provisões detectam instâncias de nível de computação semelhante em um ASG separado.

Eu pessoalmente consideraria um modelo como este:

Timed Lambdas -> Checks spot price -> Push to ElastiCache

Então, quando você precisar de instâncias:

Timed lambdas -> Pulls spot price from ElastiCache, sets it as environment variable on your Machine where you spin up IaC from -> This is parsed as argument to IaC code and pushes out the spot price

Você também pode definir algumas tolerâncias dentro das lambdas (ou seja, 10, 25, 50% de aumento com base na importância) e um limite máximo de demanda, por exemplo. Também é um ótimo lugar para construir a lógica para lidar com, por exemplo, encontrar o AZ mais barato, encontrar o preço spot relativamente mais barato ( 2xt2.mediumvs t2.large) etc.

Deixe-me dar uma maneira independente de ferramenta de tentar fazer isso.

de vez em quando o preço aumenta e leva uma ou duas horas antes que alguém perceba que nenhum novo agente está chegando, e então precisamos entrar manualmente e verificar o preço à vista e ajustar de acordo, ou mudar de zona etc.

Enfrentamos o mesmo problema na infraestrutura que estamos construindo. Portanto, tínhamos if-elseblocos de estilo para definir o preço da oferta, dependendo do preço sob demanda da instância.

A AWS possui uma API para obter o preço sob demanda de uma instância. Usamos esse wrapper Python para esse fim.

Assim, uma vez que temos o preço on-demand (digamos X), nós ligado if-elseblocos de estilo, que são 0.4*X, 0.6*X, 0.8*X, X, o que significa que estão tentando para um preço de oferta na faixa de 40%, 60%, 80% do on preço sob demanda. Se tudo falhar, voltaremos a criar instâncias sob demanda.

Além disso, como isso é independente dos preços spot atuais da AWS, nunca pagamos um preço acima do preço sob demanda.

Mas, se você estiver procurando uma maneira de fazê-lo on-the-fly, a solução da Hashfyre deve ser o caminho a seguir.