Yahoo AdCrawler martelando nosso site


1

O Yahoo AdCrawler está tentando novamente alguns URLs repetidamente. Os URLs recebem um código de resposta 302, então suponho que o Yahoo volte e tente novamente "mais tarde", mas "mais tarde" no meu livro não significa que sete URLs específicos sejam atingidos 3.000 vezes por dia cada.

Os URLs são do estilo:

/find/product-abc123?ppcid=yahoo_PPC_Product

A parte da consulta pode muito bem ser algo que o nosso cliente adicionou, mas eu a menciono no caso de tocar alguma campainha

Banimos o AdCrawler no Robots.txt por enquanto.

User-agent: Yahoo!-AdCrawler
Disallow: /

Se você tem algum pensamento, experiências semelhantes ou idéias, eu os apreciaria. Obrigado.

Respostas:


0

O AdCrawler NÃO é o mesmo que o Slurp, que é o que o Yahoo usa para criar seu índice. O AdCrawler é:

Recentemente, o Yahoo! lançou outro rastreador (chamado "Yahoo! -AdCrawler") que também rastreará as páginas de destino do anunciante YSM. Esse rastreador foi projetado para nos ajudar a fazer avaliações de relevância dessas páginas, que nos ajudam a corresponder anúncios a consultas de pesquisa específicas.

É perfeitamente seguro para você bloqueá-lo - e é altamente recomendado.


Obrigado. A descrição em seu site sugere que não deve martelar um URL. Pergunto-me se eu tenho algo configurado de forma errada no meu site - que pode causar outros problemas, é claro - em especial, se ninguém mais viu esse comportamento AdCrawler
Kristen

Com base nos comentários que já vi em outros lugares, parece que o AdCrawler geralmente é uma dor e não é bem recebido. Houve algumas postagens no blog alegando que eles desperdiçavam gigabytes de largura de banda por mês para o AdCrawler especificamente.
Andrew M.

Eu também cheguei a essa conclusão. Sua proibido ...
Kristen
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.