Definiție extinsă
Programul software care face crawling. Fiecare motor de căutare are crawler-ul lui (Googlebot pentru Google, Bingbot pentru Bing). Și SEO-tools au crawler-e proprii — al nostru rulează local, pe calculatorul tău.
Context și aplicare
Crawler-ele majore comerciale (Ahrefs, SEMrush, Moz) rulează pe servere proprietare — trimit toate datele tale prin cloud-ul lor. Diferența cu un crawler local: datele clientului tău nu părăsesc niciodată device-ul. Pentru consultanți cu obligații compliance (medical, juridic, financiar), asta înlătură nevoia de DPA cu sub-procesatori. Vezi articolul nostru GDPR și tool-uri SEO cloud pentru context complet.
Cum ajută SEO Master PRO MAX
Pentru Crawler, modulul relevant din aplicație este Modul Audit. Vezi pagina dedicată pentru cum funcționează concret pe site-ul tău.
Vezi Modul Audit →Termeni înrudiți
Crawl, Robots.txt.