[Linux-bruxelles] Google(r) et les ML

Carl Devos carl at hellea.be
Lun 1 Juil 12:43:39 CEST 2002


> Mais pour se recadrer sur la demande initiale, il suffit d'un fichier
> robot.txt pour interdire à un crawler d'indexer un répertoire.

Exemple de fichier:

User-agent: *
Disallow: /repertoire

> Il existe aussi une balise META en HTML, je ne retombe plus sur le nom
> exact, mais cela ressemble à un keyword 'robot', avec un nofollow.

Exemple:
<meta name="Robots" content="noindex,follow">

Le problème, c'est que le fichier robots.txt est géré par le webmaster,
et que Geoffroy voulait exclure les ML de ses recherches...

	Carl




Plus d'informations sur la liste de diffusion Linux-bruxelles