"On m’a souvent posé la question de savoir comment gérer les divers fichiers et directives qui permettaient d’éviter l’indexation de certaines pages d’un site par Google.

Je vois régulièrement des erreurs dans leur mise en œuvre. Ceci souvent, car les notions de crawl et d’indexation ne sont pas très claires pour tous. Essayons de clarifier et de voir comment on parle aux robots des moteurs de recherche."