- Seção
FC 12091 :: Como definir a taxa de rastreamento dos principais robôs de indexação?
Utilize as ferramentas para webmasters disponibilizadas pelo Google e pelo Bing.
O Fastcommerce possui um recurso exclusivo que bloqueia automaticamente as visitas indesejadas de robôs de acessos, também conhecidos como web crawlers. Estes robôs são programas que automaticamente visitam as páginas de um site, para indexar seu conteúdo, obter informações sobre seus produtos, ou mesmo para atacá-lo com uma "inundação" de acessos.
Para evitar que estes ataques ocorram, o Fastcommerce analisa cada acesso e bloqueia aqueles considerados "automatizados". As únicas exceções não bloqueadas são os robôs de acesso do Google (Googlebot) e do Bing da Microsoft (Bingbot). Caso queira, o lojista pode utilizar o firewall do Fastcommerce para bloquear estes robôs "do bem". Entretanto, estes acessos não devem ser bloqueados porque são necessários para que o Google e o Bing indexem o conteúdo da loja e mostrem seus produtos nos resultados de buscas.
É importante frisar que boa parte das vendas da maioria das lojas começa pelas buscas feitas no Google e no Bing. Para atualizar seus bancos de dados e oferecer resultados de buscas mais precisos, o Googlebot e o Bingbot procuram visitar todas as páginas da loja pelo menos uma vez por dia. Isto inclui todas as categorias, as páginas de detalhes de cada produto e de sub-produtos, mais a home, página de ajuda, hotsites etc.
Infelizmente às vezes estes dois robôs "se descontrolam" e acessam até 50 vezes a mesma página em um mesmo dia. As visitas excessivas destes robôs de indexação não trazem benefícios para a loja. Pelo contrário, elas geram carga desnecessária na rede e nos servidores do Fastcommerce e podem até mesmo prejudicar a performance da loja. Por esta razão, a loja deve checar seus acessos periodicamente e se necessário diminuir a taxa de rastreamento dos robôs de indexação.
Utilize o relatório Principais configurações de sistema dos visitantes para obter a quantidade de acessos dos robôs de indexação no período desejado.
Em seguida, verifique os pageviews com os UserAgents do Google e do Bing:
UserAgent principal do Google: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
UserAgent principal do Bing: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Para diminuir os acessos dos robôs, acesse os sites para webmasters do Google e do Bing e siga as instruções abaixo:
Googlebot (robô do Google)
Segue o passo-a-passo para diminuir a taxa de rastreamento do Googlebot:
Clique no botão "Faça login nas Ferramentas do Google para webmasters"
Informe sua conta @gmail.com ou clique no link "Crie uma conta agora", caso não tenha conta @gmail.com
Clique no botão "Adicionar um site"
Informe o domínio da loja e aperte o botão Continuar
Na página "Verificar titularidade" que se abrirá, clique na aba "Métodos alternativos".
Selecione a opção "Adicionar uma metatag à página inicial do seu site".
Copie a meta-tag que será exibida e cole no campo de headers adicionais da página Dados da loja, no site administrativo da loja virtual
Clique no botão Verificar
No painel lateral, abra a opção Configuração do site e clique no subitem Configurações
Selecione a opção "Limitar a taxa máxima de rastreamento do Google" e deslize a barra para a esquerda, até a posição "Baixa" e grave. A nova taxa de rastreamento será válida por 90 dias. O Google informará a data até quando esta alteração será mantida. Será necessário repetir este procedimento após esta data.
Referências oficiais:
Bingbot (robô do Bing)
Segue o passo-a-passo para diminuir a taxa de rastreamento do Bingbot:
Clique no link "Entrada no Ferramentas para Webmaster". Caso não tenha uma conta LiveID, clique em "Inscreva-se com o Windows LiveID".
Clique em "Adicionar site" e informe o domínio da loja.
Escolha a opção 2 para verificar a propriedade do domínio. Copie a linha da tag que será exibida logo abaixo da opção 2 e cole no campo de headers adicionas da página Dados da loja, no site administrativo. Depois, clique no botão Verificar.
No menu a esquerda acesse a opção "Configurar meu site" em seguida clique na opção "Controle de Rastreamento".
No gráfico azul da taxa de rastreamento, altere todos os horários para o opção mínima ("Muito lento").
Clique em "Salvar".
OBS: É possível bloquear completamente os acessos indesejados, através do firewall personalizado da loja. Para configurá-lo, acesse a página Dados da loja e clique na seta ao lado do campo Firewall.
|
