לבבי מדריכים 

פרוטוקול זה הנו מוסכמה המאפשרת לכל בעל אתר באינטרנט, להגדיר אילו עמודים לא יסרקו על ידי מנועי חיפוש ובוטים (עכבישים) המכירים את הפרוטוקול. ההגדרה מתבצעת באמצעות קובץ Robots.txt הממוקם בספריית השורש של האתר.

לדוגמא, פקודה זאת תבקש מכל הבוטים לא לאנדקס את האתר (ישנם בוטים שמתעמים מכך):

User-agent: * i

Disallow: / i

ודוגמא נוספת שתמנע מגוגל-בוט מלאנדקס את האתר:

User-agent: GoogleBot

Disallow: / i

_{seoWeb - רשת קידום אתרים באינטרנט}