Como criar um painel centralizado para monitorar várias nuvens (Amazon e Google)?

Estou procurando um único produto ou serviço que possa ser usado como um painel centralizado para monitorar a infraestrutura de nuvem fornecida pela Amazon Web Services e pelo Google Cloud Platform, além do aplicativo.

Estou procurando algumas opções, como o sensu, que oferecem suporte a todos os serviços do Amazon Web Services , mas não encontrei nenhum plug-in para monitorar o Google Cloud Platform.

Existem outros serviços ou produtos que me permitem criar isso, minha preferência é Open Source?

Nota: Todos têm acesso ao GCP e AWS e, se alguém iniciar algo, será fácil ter um painel para monitoramento.

Acho que o que você está procurando é um projeto de código aberto que possa receber informações do Amazon CloudWatch e do Google StackDriver ; não há uma quantidade enorme lá fora no momento, mas vou detalhar o que sei.

Eu assumi que você sabe como importar a telemetria de aplicativos para as soluções abaixo.

Código aberto

As soluções de código aberto para esse problema estão atrasadas devido aos preços favoráveis ​​de SaaS e soluções integradas. Os produtos abaixo estão em constante evolução, portanto, se eles não fizerem o que você precisa agora, poderão estar no futuro.

• A pilha elástica , anteriormente conhecida como pilha ELK, é composta por três produtos individuais da Elastic.co: ElasticSearch, LogStash e Kibana. É possível inserir dados do CloudWatch com um plug-in e exportar dados do StackDriver para o Google Pub / Sub e, em seguida, inserir no LogStash .
• Grafana , é um pouco melhor que Kibana na exibição de dados de séries temporais. No entanto, não possui um ecossistema tão robusto ao seu redor. A Grafana oferece suporte ao Amazon CloudWatch , o Google StackDriver ainda não é suportado . No entanto, alguém está trabalhando nele na forma de um plugin.

Software como serviço (SaaS)

As soluções de monitoramento de software como serviço são um mercado de bilhões de dólares, pois as grandes empresas pagam prontamente por uma solução SaaS ou pronta para uso para o desafio do painel.

• New Relic , um produto muito maduro, com amplo suporte à nuvem, incluindo a ingestão de métricas do CloudWatch e métricas do Google Cloud Storage .
• O Splunk , um pouco mais focado em logs do que métricas, no entanto, tem um bom suporte para o AWS CloudWatch e o Google Cloud Platform .
• O Google Stackdriver , obviamente, tem um bom suporte para o Google Cloud Platform, também é capaz de ler as métricas de desempenho da AWS.
• O DataDog é meu favorito pessoal, possui uma vasta gama de integrações, incluindo suporte para Amazon Web Services e Google Cloud Platform .

Painel único de vidro

Nos últimos três anos, vários produtos foram lançados no mercado, fornecendo um "Painel Único de Vidro" . As vantagens desses produtos são:

• Plataformas heterogêneas - você pode usar muitas ferramentas e produtos de monitoramento diferentes e depois unificá-los com um único painel de vidro.
• Normalização de dados - a maioria das ferramentas de monitoramento possui idiossincrasias na maneira como apresentam os dados. Um painel único de vidro ajuda a normalizá-las, para que as métricas do Google, Amazon e seu aplicativo façam sentido quando exibidas no mesmo gráfico.
• Visão comercial - um painel único de vidro geralmente tem a capacidade de integrar-se a fontes de dados não técnicas. Como um exemplo, exibindo dados de ferramentas financeiras para mostrar uma medida do sucesso comercial. Essa visão cria alguns painéis atraentes de nível C que demonstram como a tecnologia está agregando valor à empresa.