Em 2010, cerca de 12 anos depois de seu lançamento, o Google anunciou uma nova arquitetura para conseguir lidar melhor com a web, o chamado Caffeine. Com esta nova arquitetura, o Google informou que conseguiria ler muito mais informação em um espaço de tempo muito menor. Isso, sem sombra de dúvidas, foi um avanço muito significativo do Google.
Apesar dessa nova estrutura que o Google possui, vamos entender alguns métodos bem conhecidos e outros nem tanto, para que uma página seja indexada.
Sitemap.XML
O protocolo de Sitemap.XML possibilita que os mecanismos de busca que existem uma ou mais URLs que estejam disponíveis para rastreamento. Com esta informação, os mecanismos de busca podem olhar, além dos links que interligam as páginas na web, para estes arquivos, facilitando assim o processo de descobrimento de muita informação na web.
Em testes realizados internamente, ao enviar um arquivo de Sitemap.XML para o Google, o mesmo demorou cerca de 2 semanas para indexar a URL indicada naquele arquivo. No caso deste teste, enviamos a URL apenas por Sitemap.XML e não criou nenhum link para a URL.
Isso acabou nos mostrando que não é tão interessante confiar apenas no Sitemap.XML para indicar ao Google que a sua página deve ser indexada, mas também devemos utilizá-lo para a nossa estratégia de indexação.
Ping
O Google possui um serviço de Ping, que nada mais é do que uma forma de você avisar que um blog (mas podemos usar websites também) foi atualizado e assim, o Google irá verificar aquela URL para indexá-la. Este processo é utilizado hoje em dia em combinação com o arquivo de Sitemap.XML, onde ao criar-se uma nova página no website, atualiza-se o arquivo de Sitemap.XML e em seguida realiza-se um ping nos servidores do Google.
Apesar de não ter testado o processo de Ping ou sua influência no tempo de indexação, arrisco dizer que, combinado ao Sitemap.XML, conseguimos produzir um bom resultado em termos de velocidade de indexação. Minha base é em termos de blogs WordPress, que utilizam serviços similares de Ping ( Pingomatic ou outros) para que o arquivo de Sitemap.XML seja atualizado assim que um novo post é publicado. Com isso, conseguimos que URLs novas sejam indexadas em poucos minutos.
Resumindo, este processo de Ping é algo bem valioso, que tem um tempo de resposta muito rápido para a indexação de páginas.
Google+ (+1)
Uma das coisas que temos notado é que se um site é compartilhado no Google+ ou recebe um +1 através do botão da rede social, esta página ganha uma “prioridade” por para do Google e é indexada com uma velocidade muito boa!
Links e Mais Links
Sem sombra de dúvidas a base para tudo o que estamos falando acima são os links. Quanto mais links e melhor a qualidade deeles, mais rápido o seu website / página será encontrado pelos mecanismos de busca.
Conclusões
Apesar da constante evolução dos mecanismos de busca, vivenciamos um problema muito recorrente: a falta de indexação das páginas de um website. Seja um website pequeno, seja ele grande, em algum momento você nota que o Google (ou outros mecanismos de busca) ainda não leu a sua página. Isto reflete diretamente no seu negócio, uma vez que é a sua página de conversão que não está indexada, seja aquele produto que mais vende ou ainda aquele serviço que você possui com um ticket médio bem alto.
Dado este cenário, entendemos diversas formas de indicar para o Google que ele deve conhecer aquele conteúdo novo, que deve prestar atenção nele, seja através de dicas de redes sociais como o Google+ ou ainda de métodos como o Ping, a sua página é relevante e o mecanismo de busca deve indexá-la.