Como impedir que um arquivo PDF seja indexado pelos mecanismos de pesquisa?

Eu tenho um link para documento PDF em uma página da web pública. Como evito que os mecanismos de pesquisa indexem esse link e esse documento em PDF?

A única idéia em que pensei é usar o CAPTCHA. No entanto, gostaria de saber se existem palavras mágicas que indiquem um mecanismo de pesquisa para não indexar o link e o documento PDF? Opções usando PHP ou JavaScript também são boas.

Apenas para deixar claro. Não quero criptografar PDF e protegê-lo com senha. Eu só quero torná-lo invisível para os mecanismos de pesquisa, mas não para os usuários.

Para impedir que seu arquivo PDF (ou qualquer arquivo não HTML) seja listado nos resultados da pesquisa, a única maneira é usar o X-Robots-Tagcabeçalho de resposta HTTP , por exemplo:

X-Robots-Tag: noindex

Você pode fazer isso adicionando o seguinte trecho ao arquivo .htaccess raiz do site ou ao arquivo httpd.conf:

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

Observe que, para que o procedimento acima funcione, você deve poder modificar os cabeçalhos HTTP do arquivo em questão. Portanto, talvez você não consiga fazer isso, por exemplo, nas páginas do GitHub .

Observe também que robots.txt que não evitar sua página sejam listados nos resultados da pesquisa.

O que ele faz é parar o bot de rastejar sua página, mas se um terceiro ligações do partido para seu arquivo PDF a partir de seu site, sua página ainda serão listados.

Se você impedir que o bot rastreie sua página usando o robots.txt , ele não terá a chance de ver a X-Robots-Tag: noindextag de resposta. Portanto, nunca desaprove nunca uma página no robots.txt se você empregar o X-Robots-Tagcabeçalho. Mais informações podem ser encontradas no Google Developers: Robots Meta Tag .

Existem várias maneiras de fazer isso (combiná-las é obviamente uma maneira certa de fazer isso):

1) Use o robots.txt para bloquear os arquivos dos rastreadores dos mecanismos de pesquisa:

User-agent: *
Disallow: /pdfs/ # Block the /pdfs/directory.
Disallow: *.pdf  # Block pdf files. Non-standard but works for major search engines.

2) Use rel="nofollow"nos links para esses PDFs

<a href="something.pdf" rel="nofollow">Download PDF</a>

3) Use o x-robots-tag: noindexcabeçalho HTTP para impedir que os rastreadores os indexem. Coloque este código no seu arquivo .htaccess :

<FilesMatch "\.pdf$">
  header set x-robots-tag: noindex
</FilesMatch>

Você pode usar o arquivo robots.txt . Você pode ler mais aqui .

Não tenho certeza se esse peitoril pode trazer algum valor para alguém, mas recentemente encontramos um problema que nossa caixa GSA local não está disposta a indexar arquivo PDF.

O Suporte do Google trabalhou com o problema e sua resposta é que ele está relacionado ao fato de este documento PDF ter um conjunto de propriedades personalizadas (Arquivo -> Propriedades do documento -> Personalizado (guia))

name: robots
value: noindex

o que impediu que fosse corretamente indexado pelo GSA.

Se você tiver acesso ao documento e puder modificar suas propriedades, isso poderá funcionar ... na concessão do GSA.

Se você estiver exibindo instâncias de desenvolvimento com nginx nos resultados de pesquisa do Google, existe uma maneira rápida e fácil de impedir que os mecanismos de pesquisa rastreiem seu site. Adicione a seguinte linha ao bloco de localização do seu arquivo de configuração do host virtual para o bloco que você deseja impedir o rastreamento.

add_header  X-Robots-Tag "noindex, nofollow, nosnippet, noarchive";

Você pode usar um arquivo robots.txt. Os mecanismos de pesquisa que respeitam esse arquivo não indexam o PDF. Basta usar o comando para impedir a indexação de um arquivo e designar qual pasta ou arquivo PDF você não deseja que os mecanismos de pesquisa indexem.