Robot or not Robot

[grouik5962]

Bonjour à tous,

Petite question au sujet de l'indexation de vos sites par les différents robots Google, MSN, Yahoo et compagnie. En effet, je viens de constater avec effroi, que 25% de mes visites (traffic) sont le résultat de robots. Voici le détail des visites (statistique 1&1).

Internet Explorer : 60.62%
Mozilla : 12.76%
Google Robot : 11.52%
Yahoo Robot : 7.39%
MSN Robot : 6.54%
Safari : 0.78%
Konqueror : 0.23%
Alexa Robot : 0.08%
Camino : 0.08%

Alors ma question, les robots représentent-ils chez vous un si gros trafic et dans ce cas, n'est il pas utile d'interdire tout simplement l'indexation du site par les dits robots par l'intermédiaire du fichier robot.txt ?

D'avance merci

[orditeck]

Salut.

Pour ce qui est de JeuPHP, le nombre de visite par les moteurs n'est pas calculé avec le nombe de visite " normal ".



Par contre je sais qu'ils aiment bien regarder un peu partout

[gtsoul]

ce serait se tirer une balle dans le pied et se priver de l'indexation.
Un bot de recherche n'est pas trop gourmand car il navigue aussi sinon plus lentement qu'un internaute. Le fait qu'il soit présent sur ton site démontre 2 points :
_ soit tu n'as guère de visiteurs et le moindre bot fait doubler tes stats
_ soit tu gagnes continuellement des points dans le référencement, tu es un site montant et les moteurs de recherche te regardent en priorité.

Quoiqu'il en soit, si tu trouves leur fréquentation trop importante, fais un sitemap.xml et attribue des priorités à tes pages, tu peux même choisir la fréquence de référencement de celles-ci. Le sitemap est compris par googlebot et yahooslurp.

[grouik5962]

Merci pour vos réponses
Mais je me demande maintenant l'interêt de laisser les robots repasser régulièrement sur le site sachant que les pages du site ne change pas sauf rare exception (News, ...). Mais pas de nouvelles pages en tout cas.
De plus, sachant que mon système de page marche comme ceci www.chamoland.info/index.php?IDPAGE=XXXXX et que sur la plupart des IDPAGE il faut être loggué (ce qui n'est pas le cas d'un robot) que font ils comme indexation ?

@gtsoul : pour indication, il y a environ 6000 pages vues par jour donc ce qui fait quand même 1500 par les robots et par jour, je trouve çà quand même énorme vu le début de mon message, non ?

A+

[Plume]

L'indexation se fait très mal alors ... Si tu veux des informations sur leur comportement, tu peux te renseigner auprès de Google. De plus, s'il ne visite pas les pages, ils ne peuvent pas deviner que rien n'a changé robot.txt peut te servir à indiquer aux robots le comportement qu'il peut avoir lorsqu'ils parcourent ton site. Mais bon comme je l'ai dit au tout début de ce post, étant donné le système de page que tu utilises, l'indexation est mauvaise.

[Horace]

http://www.xml-sitemaps.com/ (pour mapper <500 pages). Sinon d'autres générateurs.

La question est pas pour/contre les bots, mais comment s'arranger avec eux.