Encontrei a resposta para o meu próprio problema. Vou postá-lo aqui, caso minha estupidez ajude outra pessoa. :-)
Na verdade, tenho dois servidores web da AWS, com um balanceador de carga na frente deles. Descobri que o novo certificado realmente era bem exibido no navegador se eu atingisse diretamente cada servidor da Web, mas falhava se eu fosse para "www" através do balanceador de carga.
Esqueci de carregar os novos arquivos de certificado no balanceador de carga por meio do Console de gerenciamento da AWS. Esta página descreve o processo:
Atualizando um certificado SSL para um balanceador de carga
Observe que os arquivos de chave pública e privada que você copia e cola devem estar no formato RSA. Esta página da web descreve como converter seus arquivos para esse formato, se necessário:
Limitações do AWS Load Balancer SSL
Depois de tudo isso, o navegador exibe imediatamente o novo certificado. Sem atraso, sem armazenamento em cache. Obrigado pelos comentários acima de qualquer maneira.