Por que o Google acha que as páginas carregam lentamente?

Analisando as Ferramentas do Google para webmasters na seção Desempenho do site, vejo que

Em média, as páginas do seu site levam 5,0 segundos para carregar.

Especificamente, leva cerca de 5 segundos para carregar durante o mês passado. No entanto, quando olho pessoalmente as páginas do meu site, a raridade leva mais de 1 segundo para carregar uma página.

Como posso descobrir o motivo pelo qual o Google acha que as páginas carregam lentamente? O Google fornece alguma informação útil para isso? Devo procurar nos logs do servidor da web etc.? Devo ajustar algo no robots.txt para impedir a indexação de algumas páginas ou alterar a velocidade do rastreamento?

Uma explicação pode ser que a velocidade média seja medida em todo o mundo - enquanto você provavelmente a mede no seu computador doméstico, que é consideravelmente mais próximo do seu servidor do que no resto do mundo. Como exemplo, posso dar a um site que o Google diz que tem uma velocidade média de carregamento de 5 segundos, confira:

Eu recomendo ler isso para entender completamente a seção "velocidade do site" do Google Analytics

A velocidade do site é realmente proveniente do uso real em todo o mundo (pelo menos aqueles com a Barra de Ferramentas Google instalada). Veja Como exatamente as Ferramentas do Google para webmasters estão medindo o "Desempenho do site"? para mais detalhes.

No entanto, por experiência, descobri que os tempos de carregamento mais longos do que o esperado no GWT são o resultado de um punhado de discrepâncias. Se você configurar a medição da velocidade do site no Google Analytics, verá valores ocasionais bem superiores a 30 segundos.

Alguns deles ainda serão usuários em conexões discadas lentas - 56Kb é cerca de 20 vezes mais lento que sua conexão de 1Mb típica. Mas acredito que muitos resultam de problemas de conexão ou de certos elementos da página não carregarem (por exemplo, um botão Curtir no Facebook) ou atingirem o tempo limite. Duvido que alguém fique sentado por alguns minutos esperando que uma página seja carregada, muito menos centenas de pessoas. Vi tempos de carregamento de até 330 segundos relatados por um único usuário no Google Analytics. Eu não acho que essas conexões sejam apenas lentas.