Crawler

También denominadas “arañas”, estas herramientas permiten indexar de manera recursiva páginas web, sondeando constantemente la Web.