Base de Conhecimento

Você não fez um sitemap.xml

Todo site deve ter um sitemap.xml, que é um arquivo com uma série de instruções para que o Google consiga indexá-lo. Se estiver tendo problemas de indexação e já tiver enviado um sitemap.xml, revise e reenvie-o novamente.

Mas se tem pouco tempo que você o enviou, pode ser que ele ainda não tenha sido processado pelo Google. Para ver como resolver isso, leia o item a seguir.

Seu sitemap ainda não foi processado

É normal levar um tempo para que o seu site seja indexado pelo Google. Mas se depois de alguns dias ele ainda não estiver aparecendo nos resultados de busca, verifique se o seu sitemap foi enviado e está funcionando corretamente.

Se você ainda não criou ou enviou um sitemap, esta pode ser a causa do problema. Nesse caso será necessário fazer um cadastro direto no Google para que o seu site passe a ser indexado. Veja a seguir como fazer isso:

• Acesse o Google Webmasters Tools e clique no site que você deseja indexar.
• No canto esquerdo vá em Rastreamento e Obter como Google.
• Na caixa de texto, digite o endereço da página que você deseja checar.
• Na lista ao lado selecione Versão para PC e clique em Obter.
• Em aproximadamente 10 a 15 minutos o Google irá registrar a URL que você solicitou.
• Quando o status estiver como “Concluído”, clique em Enviar para o Índice e em seguida selecione uma das seguintes opções:
  Para enviar a URL individual para o índice do Google, selecione a URl e clique em Enviar. Você pode enviar até 500 URLs por semana dessa forma.
  Para enviar a URL e todas as páginas linkadas a ela, lique na URL e em todas as páginas linkadas. Você pode enviar até 10 pedidos desse por mês.

Seu site está indexado em um domínio www – ou não – www

Tecnicamente, www é um subdomínio, portanto http://exemplo.com não é a mesma coisa que http://www.exemplo.com. Certifique-se de que o site está registrado das duas formas na sua conta do Google Webmaster Tools para que ambos sejam indexados.

Defina qual dos domínios é o seu preferido, mas verifique a propriedade de todos.

Erros de rastreamento

Em alguns casos o Google não irá indexar algumas páginas por não conseguir rastreá-las. Mas apesar de não poder rastrear, ele ainda pode encontrá-las.

Para identificar erros de rastreamento em páginas do seu site, vá no Google Webmaster Tools, selecione o seu site. Clique em “Rastrear” e clique em “Erros de Rastreamento”. Se o site estiver com algum erro como páginas não indexadas, ele aparecerá nesta lista.

Conteúdo duplicado

Conteúdo duplicado é algo que sempre atrapalha no rankeamento de sites. Muito conteúdo duplicado pode acabar confundindo as engines de busca, fazendo com que elas deixem de indexar o seu site.

Se você tem diversas páginas com conteúdo repetido, é necessário corrigir isto. O recomendável é evitar sempre ter conteúdo duplicado, mas se não tiver outra opção, veja qual página você deseja indexar e canonicalize as outras.

O processo de canonicalização faz com que a engine de busca entenda que apesar de estar encontrando várias páginas com o mesmo conteúdo, ela não está diante de uma situação de plágio.

Verifique a privacidade das suas páginas

Apesar de ser algo bem simples, pode ser que você tenha mexido nas configurações de privacidade do WordPress. Acesse seu painel do WordPress e vá em Configurações e Privacidade para verificar se o seu site não está definido como privado.

Site bloqueado por .htacess

O arquivo .htacess é parte da existência do seu site no servidor. Ele permite que o seu conteúdo seja disponibilizado na internet.

Este arquivo escrito em Apache pode fazer com que o rastreamento seja bloqueado, o que acaba impedindo a indexação.

Site possui a Meta Tag NOINDEX

Uma outra coisa que diz aos buscadores que o seu site não deve ser indexado é a meta tag noindex. Geralmente ela aparece da seguinte forma:

<META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>

Apesar de não parecer, este é um problema bastante comum. Para resolver basta remover esta linha de código.

Problemas com JavaScript e AJAX

O Google faz a indexação de JavaScript e AJAX, entretanto elas não são fáceis de indexar quanto a HTML.

Verifique a configuração das suas páginas em AJAX e a execução do JavaScript para ver se eles não são a causa do Google não estar indexando o seu site.

O site demora muito para carregar

Sites que demoram muito para carregar são mal vistos pelo Google. Se na hora do rastreamento ele demorar muito para carregar, o buscador pode acabar deixando de indexar o seu site.

Uma boa ferramenta para verificar a velocidade de carregamento do seu site é o Pingdom Website Speed Test.

Muitas quedas no servidor

Se os rastreadores não conseguem acessar o seu site, eles não poderão indexá-lo. Veja se a hospedagem que você está utilizando é estável, caso não seja, a melhor opção é migrar para uma nova hospedagem.

Site desindexado

Se foi esse o caso, é um pouco mais complicado. Se o seu site foi removido do Google por alguma penalidade, você será notificado. Nesse caso será necessário entrar em contato com o Google solicitando que eles reconsiderem a sua indexação.

Para evitar que isso aconteça, não deixe de conferir as Diretrizes para Webmasters do Google.

Sitemap HTML: Os sites de busca fazem um bom trabalho com seus robôs em varrer o conteúdo da internet. Existem porém duas formas de ajudá-lo a acelerar o processo ou fornecer acesso a páginas que o robô tem dificuldade em acessar. O primeiro método, e mais simples, é criar uma página HTML com links para as páginas que queremos indexar. Com isso, o Googlebot conseguirá facilmente encontrar as páginas, seguindo os links até elas. Aproveite para trabalhar o texto âncora nos links, ou seja, o "texto clicável" do link. Procure utilizar um texto âncora relacionado ao tema da página de destino. Geralmente as páginas de sitemaps em HTML são acessadas por um ícone semelhante a um organograma no canto superior direito do site.

Sitemap.xml: Os sites de busca oferecem ainda um mecanismo para que webmasters submetam o conteúdo de seus sites através de um sitemap (mapa de site) no formato XML (eXtensible Markup Language) ou .TXT. O nome do arquivo não possui um padrão obrigatório, mas geralmente é chamado de SITEMAP.XML. O sitemap.xml é um arquivo que tem a finalidade de listar as páginas de um site que gostaríamos de ter presentes nos resultados de busca. O Google permite ainda a submissão de imagens e vídeos.

Resumindo, arquivo sitemap.xml é usado como um índice aos buscadores, facilitando o acesso a essas páginas e arquivos. Vale frisar, porém, que é muito mais importante ter um site facilmente restreável pelos robôs do que usar o sitemap.xml para contornar falhas na arquitetura do site.

Como criar um Sitemap.xml

O Google recomenda criar Sitemaps com no máximo 50.000 URLs. Porém, pela nossa experiência, recomendamos arquivos com no máximo 10.000 URLs. Caso seja necessário, poderá ser criado mais de um arquivo, como por exemplo sitemap1.xml, sitemap2.xml, etc.O arquivo sitemap.xml pode ser criado de 3 formas:

Opção 1: Google Webmaster Tools

A ferramenta para Wemasters do Google possui uma área onde webmasters podem submeter seus sitemaps xml e acompanhar o status de indexação das páginas e arquivos submetidos. Essa área é acessada em Otimização -> Sitemaps. Veja na figura abaixo um exemplo:

Opção 2: Robots.txt

O novo protocolo Sitemap

Um novo protocolo para Sitemaps reconhecido pelo Google disponibiliza recursos adicionais para um maior controle do robô do Google. As vantagens do novo padrão são resultados de pesquisa mais atualizados e rastreamento mais eficiente, pois são fornecidos aos buscadores informações específicas sobre detalhes das páginas de seu site, como a frequência de atualização desejada e a relevância de determinada página.

Marcações XML para Sitemaps

Para explorar todas as novas funcionalidades, o arquivo deve ser criado no formato XML, embora exista também o formato TXT. O arquivo TXT será uma simples lista de URLs. O sitemap baseado em XML, por outro lado, permite que além de submeter as URLs, seja informada a prioridade de cada página, frequência de atualização e última modificação executada.

Para usar os recursos do novo modelo de Sitemap, siga as regras do formato XML e adicione as tags específicas:

• segue as especificações requeridas para submissão no Google;
• indica o início e fim do conjunto de URLs a serem rastreadas;
• indica o início e fim de uma URL individual;
• localização da URL completa da página informada;
• , uma tag opcional com a data da última modificação;
• , uma tag opcional sugerindo a freqüência que o robô deve executar o rastreamento;
• , uma tag opcional informando a prioridade da URL especificada em relação às demais URLs contidas no arquivo.

Exemplos Reais de Sitemaps

• Sitemap Webmotors - possui um diretório de Sitempaps apontando para sitemaps segmentados, como o sitemap institucional, um sitemap simples de compreender;
• Sitemap do Google (cuidado, arquivo muito pesado, pode travar o seu navegador. Use um editor XML para visualizar corretamente as tags XML ou mesmo o Wordpad do Windows).

Na Agência na Web todos os sites tem XML para Sitemaps, então se você é um cliente da Agência na Web fique tranquilo seu website ou sistema já possuí sitemaps e robots.  Se você ainda não é um cliente da Agência na Web não perca tempo, venha já para o time de campeões !