Yahoo AdCrawler martelando nosso site

O Yahoo AdCrawler está tentando novamente alguns URLs repetidamente. Os URLs recebem um código de resposta 302, então suponho que o Yahoo volte e tente novamente "mais tarde", mas "mais tarde" no meu livro não significa que sete URLs específicos sejam atingidos 3.000 vezes por dia cada.

Os URLs são do estilo:

/find/product-abc123?ppcid=yahoo_PPC_Product

A parte da consulta pode muito bem ser algo que o nosso cliente adicionou, mas eu a menciono no caso de tocar alguma campainha

Banimos o AdCrawler no Robots.txt por enquanto.

User-agent: Yahoo!-AdCrawler
Disallow: /

Se você tem algum pensamento, experiências semelhantes ou idéias, eu os apreciaria. Obrigado.

web-crawler

— Kristen
fonte

O AdCrawler NÃO é o mesmo que o Slurp, que é o que o Yahoo usa para criar seu índice. O AdCrawler é:

Recentemente, o Yahoo! lançou outro rastreador (chamado "Yahoo! -AdCrawler") que também rastreará as páginas de destino do anunciante YSM. Esse rastreador foi projetado para nos ajudar a fazer avaliações de relevância dessas páginas, que nos ajudam a corresponder anúncios a consultas de pesquisa específicas.

É perfeitamente seguro para você bloqueá-lo - e é altamente recomendado.

— Andrew M.
fonte

Obrigado. A descrição em seu site sugere que não deve martelar um URL. Pergunto-me se eu tenho algo configurado de forma errada no meu site - que pode causar outros problemas, é claro - em especial, se ninguém mais viu esse comportamento AdCrawler

— Kristen

Com base nos comentários que já vi em outros lugares, parece que o AdCrawler geralmente é uma dor e não é bem recebido. Houve algumas postagens no blog alegando que eles desperdiçavam gigabytes de largura de banda por mês para o AdCrawler especificamente.

— Andrew M.

Eu também cheguei a essa conclusão. Sua proibido ...

— Kristen