O Google penalizará sites muito lentos (mais de 7 a 10 segundos para que a página se torne utilizável). Eles fazem isso porque afirmam que os usuários geralmente não estão dispostos a esperar tanto tempo quando clicam e geralmente retornam aos serviços. O Google quer fazer seus usuários felizes.
Além das penalidades diretas aplicadas pelo Google, há consequências indiretas de ter um site que leva mais de 3 segundos para se tornar utilizável. Em cerca de 3 segundos, os usuários começam a voltar para os servidores para procurar outra coisa. O Google usa essa "taxa de recuperação" como um fator importante no algoritmo. Um site com uma alta taxa de rejeição cairá drasticamente para a consulta específica para a qual foi classificada. Um site lento começará a declinar nas classificações devido a esse efeito.
Mais uma vez, três segundos parecem ser o número mágico. Os webmasters que melhoram seu site para esse limite geralmente veem ganhos de classificação. Melhorar a velocidade abaixo de três segundos pode melhorar ainda mais a experiência do usuário e levar a conversões mais altas ou a uma melhor interação, mas não parece melhorar as classificações.
E para ficar claro, três segundos são para a página se tornar utilizável. Isso significa que o html foi baixado e renderizado com todos os css e javascript suportados. As imagens acima da dobra também foram carregadas. Pode haver alguns elementos da página que ainda podem estar carregando, mas que são menos visíveis para o usuário: imagens abaixo da dobra, javascript assíncrono e vídeos em buffer.