Παράδειγμα ενός αρχείου robots.txt

Το αρχείο robots.txt δημιουργείται από τον διαχειριστή ενός website και αποθηκεύεται στο root directory του website και περιέχει κανόνες προς τους crawlers για τις ιστοσελίδες που επιτρέπεται ή που δεν επιτρέπεται να κάνουν crawling.

Παρακάτω ακολουθούν παραδείγματα ενός αρχείου robots.txt για το wlearn.gr.

Παράδειγμα 1

User-agent: Googlebot
Disallow: /my_articles/

Επεξήγηση: Ο crawler με όνομα Googlebot μπορεί να κάνει crawling σε όλες τις ιστοσελίδες του wlearn.gr εκτός απο αυτές που βρίσκονται στο φάκελο https://www.wlearn.gr/my_articles/ και σε όλους τους υποφακέλους του.

Παράδειγμα 2

User-agent: *
Allow: /

Επεξήγηση: Όλοι οι οι crawlers μπορούν να κάνουν crawling σε όλες τις ιστοσελίδες του wlearn.gr χωρίς κανένα περιορισμό.

Παράδειγμα 3

User-agent: Googlebot
User-agent: Anothercrawler
Disallow: /

Επεξήγηση: Οι crawlers με ονόματα Googlebot κα Anothercrawler δεν επιτρέπεται να κάνουν crawling σε καμία από τις ιστοσελίδες του wlearn.gr.

Αν σας ενδιαφέρει να μάθετε περισσότερα για την σύνταξη ενός robots.txt επισκεφτείτε το site της Google που εξηγεί λεπτομερώς τους κανόνες του κώδικα μέσα σε ένα τέτοιο αρχείο.