Sujet : [OK] Robots.txt | |  Posté le 31-08-2012 ŕ 18:34:45
| Salut,
Pour le fun, je suis allé voir si mon forum était archivé sur l'internet archive: http://wayback.archive.org/web/*/abrasax.alloforum.com/
Hors il me dit que non, parce que le robot d'archivage est exclu. Je vais voir la page en question: http://abrasax.alloforum.com/robots.txt
Quid ? Je pense que le problème est une problème de syntaxe, pour authoriser tout les robots on ne met pas normalement Allow: / mais Dissalow: (c'est à dire qu'on laisse vide le dissalow). voir à ce sujet: http://www.robotstxt.org/robotstxt.html
Peut-on autoriser internet archive, c'est quand même cool d'avoir l'assurance que si il arrive quoi que ce soit un jour, il y aura toujours l'internet archive non ?
De plus je pense que ca a du être mis en place à une époque ou voila embétait mais depuis ca a du se calmer et je suppute que ce n'est plus utile donc qu'on pourrait enlever purement et simplement ce robots.txt.
M'enfin Pour autoriser internet archive il faudrait juste rajouter
Citation :
User-agent: ia_archiver
Disallow:
|
Grü
Abra |
| | Posté le 07-09-2012 ŕ 17:10:28
| Salut Abra,
C'est corrigé, merci |
|
|
|