Perguntas com a marcação «robots.txt»

No robots.txt, posso escrever o seguinte URL relativo para o arquivo do sitemap? sitemap: /sitemap.ashx Ou tenho que usar o URL completo (absoluto) para o arquivo do sitemap, como: sitemap: http://subdomain.domain.com/sitemap.ashx Por que eu me pergunto: Eu possuo um novo serviço de blog, www.domain.com, que permite que os usuários façam …

191 seo  sitemap  robots.txt 

Meu robots.txtnas Ferramentas do Google para webmasters mostra os seguintes valores: User-agent: * Allow: / O que isso significa? Não tenho conhecimento suficiente sobre isso, então procuro sua ajuda. Quero permitir que todos os robôs rastreiem meu site, esta é a configuração correta?

116 robots.txt 

Existe alguma solução inteligente para armazenar arquivos estáticos no diretório raiz do aplicativo Flask. Espera-se que o arquivo robots.txt e o sitemap.xml sejam encontrados em /, então minha ideia era criar rotas para eles: @app.route('/sitemap.xml', methods=['GET']) def sitemap(): response = make_response(open('sitemap.xml').read()) response.headers["Content-type"] = "text/plain" return response Deve haver algo mais …

94 python  flask  static  mod-wsgi  robots.txt