Combinar user-agents no robots.txt


10

Os user-agents podem ser listados juntos, seguidos por suas regras comuns em um robots.txt ?

User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/

11
Existe uma razão pela qual você não usa user-agent: *seguido pela proibição? A lista de agentes do usuário "permitidos" é maior que a lista que você deseja proibir?
Mike Hudson

Respostas:


Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.