Perguntas com a marcação «googlebot»

Estou rastreando a localização geográfica de todos os membros (usando db-ip) e está tudo bem, exceto telefones celulares com o navegador Chrome. Eles sempre me dão o resultado US Mountain View California ip:66.249.xxx.xxx. Este é o Google; Estou 100% certo disso. Mas a pessoa que visita o site sou eu …

27 googlebot  mobile  ip-address  google-chrome 

Como impedir que meus arquivos XML de sitemap apareçam nos resultados de pesquisa do Google, como este resultado de uma site:consulta de pesquisa: Não entendo por que o Google optou por mostrar os arquivos do mapa do site nos resultados de pesquisa. Esses arquivos não são destinados ao consumo humano. …

23 google  sitemap  search-engine-indexing  googlebot  xml-sitemap 

Muito foi feito com a frequência de rastreamento de aranhas do Baidu. É verdade: "Baiduspider rasteja como um louco". Eu experimentei esse fenômeno em sites com os quais trabalho. Em pelo menos um caso, descobri que o Baiduspider rastreia na mesma frequência do Googlebot, apesar do Baidu fornecer cerca de …

18 seo  search-engines  googlebot  web-crawlers 

Adicionei um arquivo robots.txt a um dos meus sites há uma semana, o que deveria ter impedido o Googlebot de tentar buscar determinados URLs. No entanto, neste fim de semana, vejo o Googlebot carregando esses URLs exatos. O Google armazena em cache o robots.txt e, em caso afirmativo, deveria?

17 googlebot  robots.txt  google-cache 

Sempre que crio um site responsivo, geralmente crio 2 menus: um oculto e usado para dispositivos móveis e o outro exibido como menu principal; depois, oculto para mostrar o menu móvel. Sempre que se trata de SEO e de aranhas que navegam no site, sou enganado por ter menus duplicados? …

15 seo  web-crawlers  googlebot  navigation 

No momento, redireciono todas as conexões não HTTPS para HTTPS e apoio TLS v1, TLS v1.1 e TLS v1.2. Reconfigurei meu servidor de teste para aceitar apenas um conjunto de criptografia muito limitado e seguro e apenas TLSv1.2. Ao executar o teste do SSL Labs, notei que o gráfico de …

12 seo  search-engines  https  googlebot  bingbot 

Vi códigos como para impedir que o Google indexasse parte de uma página: <p>This is a paragraph that will be indexed by Google.</p> <!--googleoff: index--> <p>This is a paragraph that will NOT be indexed by Google.</p> <!--googleon: index> Isto funciona?

12 search-engine-indexing  googlebot 

Aqui está um dos meus clientes, executando alguma ação depois de fazer login na conta dele. O token exclusivo é simplesmente um ID do usuário criptografado + registro de data e hora. 94.254.xxx.xxx - - [02 / Jul / 2011: 22: 25: 46 +0200] "GET / alguma ação / token …

12 google  search-engines  googlebot 

Percebi que as Ferramentas do Google para webmasters estão relatando muitos recursos bloqueados no meu site. No momento, todos os "recursos bloqueados" são .css, .js e imagens (.jpg, .png) que eu sirvo da Cloudfront CDN. Passei muito tempo testando e tentando descobrir por que o Google não rastreia esses arquivos …

11 google-search-console  web-crawlers  googlebot  cdn  amazon-cloudfront 

Depois de escrever vários bots e ver a enorme quantidade de bots aleatórios que rastreiam um site, eu me pergunto como webmaster, o que realmente vale a pena incluir em um site? Meu primeiro pensamento é que permitir bots no site pode potencialmente trazer tráfego real para ele. Existe algum …

11 seo  web-crawlers  robots.txt  googlebot  bingbot 

Contexto: temos um site disponível em várias versões de idiomas. No entanto, o conteúdo é o mesmo. Cada versão traduzida do site está disponível em um subdomínio distinto. Em algumas páginas, usamos <link rel="canonical" />para apontar para a versão canônica no mesmo idioma da mesma página, se necessário. Isso é …

11 seo  google  googlebot  internationalization 

Encontrei este artigo nas minhas notícias de SEO hoje. Parece implicar que você pode usar Noindex:diretivas além das Disallow:diretivas padrão no robots.txt . Disallow: /page-one.html Noindex: /page-two.html Parece que isso impediria os mecanismos de pesquisa de rastrear a página um e impediria a indexação da página dois. Esta diretiva robots.txt …

10 web-crawlers  robots.txt  googlebot  noindex 

Se eu tiver conteúdo por trás de um formulário POST (uma caixa de seleção, no meu caso), o Googlebot ou outras Aranhas dos mecanismos de pesquisa poderão rastrear o conteúdo por trás desse formulário? Por exemplo, se eu tivesse quatro traduções de uma página e a seleção de idioma fosse …

10 seo  googlebot  forms  multilingual 

Eu tinha alguns arquivos particulares em um diretório na pasta da minha escola. Você pode ver que os arquivos existiam acessando myschool.edu/myusername/myfolder, mas tentando acessar os arquivos por meio de myschool.edu/myusername/myfolder/myfile.html retorna um erro 403. E, no entanto, o Google de alguma forma conseguiu pegar o conteúdo desses arquivos particulares …

10 web-crawlers  security  googlebot 

Então agora o Google descontinuou o esquema de rastreamento AJAX . Eles dizem para não se incomodar em implementá-lo em novos sites, porque não é mais necessário, já que o Googlebot não tem problemas para assistir a conteúdo dinâmico. Devemos confiar imediatamente nessa afirmação, ou melhor, aderir ao padrão descontinuado …

9 seo  web-crawlers  googlebot  ajax