Como definir o robots.txt globalmente no nginx para todos os hosts virtuais

13

Estou tentando definir robots.txtpara todos os hosts virtuais no servidor http nginx. Consegui fazer isso no Apache colocando o seguinte em principal httpd.conf:

<Location "/robots.txt">
    SetHandler None
</Location>
Alias /robots.txt /var/www/html/robots.txt

Tentei fazer algo semelhante com o nginx adicionando as linhas abaixo (a) dentro do nginx.conf e (b) como include conf.d / robots.conf

location ^~ /robots.txt {
        alias /var/www/html/robots.txt;
}

Eu tentei com '=' e até o coloquei em um dos hosts virtuais para testá-lo. Nada parecia funcionar.

O que estou perdendo aqui? Existe outra maneira de conseguir isso?

nginx robots.txt

— anup
fonte

Nota: Não havia como colocá-lo como uma configuração Global (ou seja, definida em um arquivo que se aplica a todos os hosts virtuais sem uma instrução de inclusão). Pode-se definir um robots.conf em conf.d (ou global.d [não-padrão]) e incluir isso em todas as configurações de host virtual. Todas as outras respostas apontam para várias maneiras de fazer a mesma coisa: proxy_pass, retrun {} etc.

— anup

4

a localização não pode ser usada dentro do httpbloco. O nginx não possui aliases globais (ou seja, aliases que podem ser definidos para todos os vhosts). Salve suas definições globais em uma pasta e inclua-as.

server {
  listen 80;
  root /var/www/html;
  include /etc/nginx/global.d/*.conf;
}

— user79644
fonte

Como indicado na pergunta, eu tentei fazer isso colocando robots.conf na pasta conf.d. Mas não funciona como global.

— anup

continua ... Como você disse, o Nginx não tem aliases globais. Eventualmente, a resolução foi adicioná-lo por configuração de host virtual.

— anup

43

Você pode definir o conteúdo do arquivo robots.txt diretamente na configuração do nginx:

    location = /robots.txt { return 200 "User-agent: *\nDisallow: /\n"; }

Também é possível adicionar o tipo de conteúdo correto:

    location = /robots.txt {
       add_header Content-Type text/plain;
       return 200 "User-agent: *\nDisallow: /\n";
    }

— Konstantin V Bekreyev
fonte

1

Apenas uma observação: eu precisava colocar location = /robots.txt(observe o sinal de igual), caso contrário, outra location ~* \.(txt|log)$correspondência abaixo estava substituindo-a.

— Beebee

Como isso pode ser adicionado a um arrumado conf.d/robots.conf? Como é a diretiva "local", não é permitida aqui , o que é razoável, mas não é para um servidor específico. Não tenho certeza sobre a resposta para @ user79644. É inevitável adicionar isso a cada site?

— Pablo A

Eu não testei isso. Mas, parece semelhante ao em questão, exceto que um 'retorno' é usado no lugar do alias. O problema que enfrentei é torná-lo um cenário global. O que significa que não devo repeti-lo em todos os .conf de um site. Não consegui que o método global funcionasse da maneira que funciona com o Apache. Digamos, por exemplo, um servidor de Desenvolvimento que não deva ser rastreado.

— anup 27/08

10

Existem outras regras definidas? Talvez o arquivo common.conf ou outro arquivo conf incluído esteja substituindo sua configuração. Um dos seguintes procedimentos definitivamente deve funcionar.

location /robots.txt { alias /home/www/html/robots.txt; }
location /robots.txt { root /home/www/html/;  }

O Nginx executa todos os locais "regexp" na ordem em que aparecem. Se qualquer local "regexp" for bem-sucedido, o Nginx usará essa primeira correspondência. Se nenhum local "regexp" for bem-sucedido, o Nginx usará o local comum encontrado na etapa anterior.
Os locais "regexp" têm precedência sobre os locais "prefix"

— user79644
fonte

Não funciona como uma opção global. Mas, funciona dentro da configuração de um host virtual. Usei o primeiro (local /robots.txt) e até o que especifiquei em questão ('~ * /robots.txt'). Ambos funcionaram na configuração do Host Virtual. Eu acho que o uso de 'location' 'se {}' se enquadra na diretiva 'server' e isso talvez não funcione em nível global.

— anup

Verifique se você tem um /robots.txtarquivo para o alias. Não tive a rootopção de trabalhar.

— Shadoath

-1

Eu tive o mesmo problema com os desafios da Acme, mas o mesmo princípio também se aplica ao seu caso.

O que fiz para resolver esse problema foi mover todos os meus sites para uma porta não-padrão, escolhi 8081e criei um servidor virtual que escuta na porta 80. Ele proxies todas as solicitações 127.0.0.1:8081, exceto as que são conhecidas. Isso funciona quase como um alias global, com um salto extra, mas isso não deve causar uma queda significativa no desempenho devido à natureza assíncrona do nginx.

upstream nonacme {
  server 127.0.0.1:8081;
}

server {
  listen 80;

  access_log  /var/log/nginx/acme-access.log;
  error_log   /var/log/nginx/acme-error.log;

  location /.well-known {
    root /var/www/acme;
  }

  location / {
    proxy_set_header    Host                $http_host;
    proxy_set_header    X-Real-IP           $remote_addr;
    proxy_set_header    X-Forwarded-For     $proxy_add_x_forwarded_for;
    proxy_set_header    X-Forwarded-Proto   $scheme;
    proxy_set_header    X-Frame-Options     SAMEORIGIN;

    # WebSocket support (nginx 1.4)
    proxy_http_version 1.1;
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection "upgrade";

    proxy_pass http://nonacme;
  }
}

— Ákos Vandra
fonte