Definiție extinsă
Procesul prin care un robot (numit „crawler") parcurge paginile unui site, urmărind link-urile, ca să le indexeze. Googlebot face asta zilnic; și aplicația noastră face asta când rulezi un audit.
Context și aplicare
Un crawl pornește de la o pagină seed (de obicei homepage), citește toate link-urile, vizitează paginile linkate, repetă. Crawlerul tău local respectă robots.txt, are user-agent identificabil, și își limitează singur ratele (max 10 req/sec) ca să nu suprasolicite serverul. Diferența majoră față de Googlebot: tu rulezi crawl pe site-uri cunoscute (le auditezi), Googlebot descoperă site-uri necunoscute prin backlinks de pe site-uri deja indexate.
În practică
dacă site-ul tău are 500 de pagini, un crawl complet durează 2-4 minute.
Cum ajută SEO Master PRO MAX
Pentru Crawl, modulul relevant din aplicație este Modul Audit. Vezi pagina dedicată pentru cum funcționează concret pe site-ul tău.
Vezi Modul Audit →Termeni înrudiți
Crawler, Crawl budget, Sitemap.