Η Google Επεκτείνει τη Λίστα Μη Υποστηριζόμενων Κανόνων Robots.txt
Νέα Έρευνα για τους Κανόνες Robots.txt
Η Google ανακοίνωσε σχέδια επέκτασης της λίστας μη υποστηριζόμενων κανόνων robots.txt στην επίσημη τεκμηρίωσή της. Το έργο ξεκίνησε μετά από ανάλυση πραγματικών δεδομένων από εκατομμύρια ιστότοπους μέσω του HTTP Archive. Οι Gary Illyes και Martin Splitt περιέγραψαν την πρωτοβουλία αυτή στο podcast Search Off the Record. Αντί να προσθέσουν απλώς δύο προτεινόμενους κανόνες, η ομάδα αποφάσισε να μελετήσει τους 10-15 πιο συχνά χρησιμοποιούμενους μη υποστηριζόμενους κανόνες. Αυτή η προσέγγιση βασίζεται σε δεδομένα και όχι σε αυθαίρετες αποφάσεις, παρέχοντας μια στέρεη βάση για την τεκμηρίωση των πιο κοινών μη υποστηριζόμενων κανόνων που χρησιμοποιούν οι διαχειριστές ιστότοπων παγκοσμίως.
Μεθοδολογία Έρευνας και Τεχνικά Εμπόδια
Η ομάδα της Google χρησιμοποίησε το HTTP Archive για τη μελέτη των κανόνων που εφαρμόζουν οι ιστότοποι στα αρχεία robots.txt τους. Το HTTP Archive εκτελεί μηνιαίες σαρώσεις σε εκατομμύρια URLs χρησιμοποιώντας το WebPageTest. Ωστόσο, η πρώτη προσπάθεια αντιμετώπισε τεχνικές δυσκολίες, καθώς διαπιστώθηκε ότι τα στάνταρ crawls δεν ζητούν τα αρχεία robots.txt. Σε συνεργασία με τον Barry Pollard και την κοινότητα του HTTP Archive, η ομάδα ανέπτυξε έναν προσαρμοσμένο JavaScript parser που εξάγει κανόνες robots.txt γραμμή προς γραμμή. Αυτό το εργαλείο, παρόμοιο με έναν AI Content Aggregator, ενσωματώθηκε πριν τη σάρωση Φεβρουαρίου και τα αποτελέσματα είναι πλέον διαθέσιμα στο dataset custom_metrics στο BigQuery.
Αποτελέσματα και Μελλοντικές Εξελίξεις
Τα δεδομένα αποκάλυψαν ότι μετά τους τρεις βασικούς κανόνες (allow, disallow, user-agent), η χρήση άλλων κανόνων μειώνεται δραματικά. Η Google υποστηρίζει επίσημα τέσσερα πεδία: user-agent, allow, disallow και sitemap. Όλα τα υπόλοιπα αγνοούνται, αλλά η νέα τεκμηρίωση θα καταγράψει τους πιο συχνούς. Επιπλέον, η ανάλυση εντόπισε κοινά ορθογραφικά λάθη στον κανόνα disallow, με τον Illyes να σημειώνει ότι σχεδιάζει να επεκτείνει τους τύπους λαθών που αποδέχεται το σύστημα. Αυτή η εξέλιξη, μαζί με εργαλεία όπως AI Post Images Generator και Auto Backlinks Builder, αποτελεί μέρος της συνεχούς βελτίωσης των SEO εργαλείων. Οι διαχειριστές ιστότοπων συνιστάται να ελέγξουν τα αρχεία robots.txt τους για κανόνες που δεν λειτουργούν.
