Combinar user-agents no robots.txt

Os user-agents podem ser listados juntos, seguidos por suas regras comuns em um robots.txt ?

User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/

web-crawlers robots.txt user-agent

— davidcondrey
fonte

Existe uma razão pela qual você não usa user-agent: *seguido pela proibição? A lista de agentes do usuário "permitidos" é maior que a lista que você deseja proibir?

— Mike Hudson

Veja também no SO: É possível listar vários user-agents em uma linha?

— unor 19/03/14

Sim. Supondo que os nomes dos seus agentes estejam especificados corretamente, parece que isso deve funcionar. Aqui está um recurso, se você quiser ler mais. https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

— closetnoc
fonte

A especificação original do robots.txt concorda: "Se houver mais de um campo User-agent, o registro descreverá uma política de acesso idêntica para mais de um robô".

— Ilmari Karonen