Ajudar as organizações a subir na Web
Menu









           

O que é um Crawler

É um software que tem a função de explorar toda a Web com vista a recolher e classificar conteúdos como páginas web, imagens, vídeos, ficheiros, etc.
Este sistema também é conhecido como spider, robot, bot ou indexador.

Entre os crawlers mais conhecidos contam-se o Googlebot, Bingbot, Yahoo Slurp e DuckDuckBot.

Crawler