Estou migrando parte de um banco de dados mysql para a AWS. Os dados em questão são de 99% de gravação e cada linha possui cerca de 1k de campos varchar, um datetime e 4 ints.
Estimo que precisaremos entre 20 a 25k registros inseridos / hora durante os horários de pico.
Eu executei o iostat -h no banco de dados atual e ele relatou cerca de 40 tps.
Como faço para descobrir que tipo de IOPS vou precisar?
Respostas:
Você terá que testá-lo.
Você pode fazer alguns cálculos no verso do envelope para aproximar o número de E / S por inserção, multiplicá-lo pelo número de transações por segundo, adicionar alguma sala de buffer etc., mas é muito mais fácil testá-lo.
A coisa mais fácil a fazer é alocar o melhor palpite e, em seguida, voltar e aumentá-lo ou diminuí-lo para combinar com os testes do mundo real. Esse é um dos luxos do uso de um ambiente baseado em nuvem, as alterações de hardware são baixas em custos de capital e, geralmente, requerem apenas atualizações de configuração. Com os volumes EBS, você não pode apenas aumentar o número de IOPS, mas também aumentar o tamanho do volume 1 . Você sempre pode criar um novo volume e copiar seus dados. Haverá algum tempo de inatividade, mas se os dados não forem grandes , não deve ser tanto quanto seria uma cópia bruta.
Aqui está um palpite sobre o número de E / S necessárias. Novamente, é apenas um palpite, já que os detalhes dependem do número de índices e se o seu fluxo de tráfego será suave ou pontudo. A 25K tx / hora, você tem ~ 7 tx / s. O tamanho de cada linha não é particularmente relevante, pois é menor que o tamanho de uma única E / S (4K). Cada transação fará algo entre 1 a 5 IOP (inserção primária mais algumas inserções na árvore de índice), então digamos ~ 35 / s.
Eu digo que comece com o mínimo de 100 IOPS e aumente a escala, se necessário.
Eu usei a ferramenta básica iostat (iostat -h) para ter uma idéia de quantos iops eu estava usando no momento. A partir disso, extrapolei quanto usaria se tivesse menos de quatro vezes a quantidade de carga e seguisse com essa quantidade. Para mim, que resultou em 780 IOPS, fui com 800 IOPS.
Eu uso o iostat para determinar a quantidade de IOPS que meu aplicativo está executando. O iostat relata isso como tps. KB / t ajuda a determinar se o valor da transferência é menor que o tamanho do bloco, 256 KiB. Eu executo o iostat com um tempo de espera de um segundo, ou seja, iostat -w 1.
Isso pode ajudá-lo a monitorar suas IOPS: