Το αρχείο robots.txt είναι το πρώτο πράγμα που διαβάζει ο Googlebot πριν αγγίξει οποιαδήποτε σελίδα του site σας, και ένα λάθος σε αυτό μπορεί να εξαφανίσει ολόκληρο domain από τη Google μέσα σε ώρες. Στη…