[Linux-bruxelles] robots.txt

[Geoffroy Stevenne]

Le Fri, 12 Jul 2002 14:43:57 +0200
Thibault Richard <thibault at itn.skynet.be> a écrit:

Heloo!

> Je ne sais plus qui avait dit ici que Google ne comprenanait pas les
> fichiers robots.txt (dans le débat 'est-ce qu'il faut publier sur le
> web le résultat de nos élucubrations sur la ML') ... il semblerait que
> l'info était erronée :
> 
> http://www.google.com/bot.html#robotsinfo

Ouais, mais ca n'empêche pas qu'on ne peut plus RIEN trouver sur Linux
dans Google sans devoir éliminer des MILLIERS de messages de listes
INUTILES (voire débiles, je tombe parfois sur les miens).  C'est une
vraie plaie qui m'énerve tous les jours un peu plus et me fait perdre du
temps pour des c...

Ca vous arrive pas à vous?