Eu tenho um site dinâmico que possui muitos (bem, menos de 50) usuários. Cada usuário pode criar quantas páginas quiser. Sei que há um limite para quantas páginas você pode listar no sitemap.xml e, por enquanto, estou abaixo desse limite, mas gostaria de saber qual a melhor maneira de permitir que os mecanismos de pesquisa saibam (tudo?) as páginas dos meus usuários ainda estando abaixo desse limite, mesmo que eu tenha mais do que o limite.
Respostas:
Os arquivos do sitemap têm um limite de 50.000 URLs e 10 megabytes por sitemap. Os sitemaps podem ser compactados usando gzip, reduzindo o consumo de largura de banda. Vários arquivos de sitemap são suportados, com um arquivo de índice de Sitemap servindo como ponto de entrada para um total de 1000 Sitemaps.
Observe que você pode especificar vários sitemaps no seu arquivo robots.txt :
Se você se deparar com essa limitação, talvez divida seus usuários de alguma forma. Digamos que cada um de seus usuários não tenha mais de 10.000 URLs por peça, você pode dividi-lo em arquivos e adicioná-lo ao seu robots.txtarquivo:
Sitemap: http://www.example.com/sitemaps/users-001-005.xml
Sitemap: http://www.example.com/sitemaps/users-006-010.xml
Sitemap: http://www.example.com/sitemaps/users-011-015.xml
Sitemap: http://www.example.com/sitemaps/users-016-020.xml
Sitemap: http://www.example.com/sitemaps/users-021-025.xml
Sitemap: http://www.example.com/sitemaps/users-026-030.xml
Sitemap: http://www.example.com/sitemaps/users-031-035.xml
Sitemap: http://www.example.com/sitemaps/users-036-040.xml
Sitemap: http://www.example.com/sitemaps/users-041-045.xml
Sitemap: http://www.example.com/sitemaps/users-046-050.xml
Agora, você ainda precisa estar atento ao limite de 10 MB para cada sitemap individual, mas essa é uma abordagem para lidar com o problema de "muitos" URLs.
Veja os arquivos da CNN e do Google robots.txt para ver vários sitemaps em ação.