robots txt

Η Google αναλύει δεδομένα από εκατομμύρια ιστότοπους για να επεκτείνει την τεκμηρίωση των μη υποστηριζόμενων κανόνων robots.txt