robots.txt est un fichier texte proposé par la grande majorité des sites internet. Il permet de définir les règles que doivent suivre les robots (crawlers). C’est un fichier utile pour les éditeurs et ...