Comment fonctionnent les robots shopbots ?
Shopbot est l'abréviation anglaise de shopping robot. Les shopbots sont des robots logiciels de type agent intelligent dont la fonction consiste à parcourir et indexer le web marchand. Les informations ainsi collectées sont ensuite utilisées à des fins de veille concurrentielle ou sur des portails informatifs appelés comparateurs de prix. Les produits sont alors affichés sous la forme de tableaux permettant de comparer les prix, le coût et les délais de livraison.
Les outils d'aide et d'assistance à l'achat en ligne sont apparus sur le marché américain en 1999 et dès la fin de la même année en France. Le système profita largement aux cyber-consommateurs et permis de populariser l'achat en ligne. Après plusieurs années de vache maigre, l'année 2005 reconnaîtra les moteurs de shopping comme une composante primordiale de la recherche d'information sur Internet. Ainsi en 2007, plus d'un internaute sur deux utiliserait les informations fournies par un comparateur de prix avant de faire un achat en ligne.
Moteur de comparaison de prix ou vitrine marchande... ?
Dans la pratique certains comparateurs de prix s'apparentent d'avantage à des espaces publicitaires sans réel contenu, plus proches de la publi-information que de la comparaison objective de prix. Certains robots limitent leur investigations aux bases de données de quelques boutiques souscrivant à leurs services moyennant rémunération.
L'Union fédérale des Consommateurs avait épinglé en juillet 2002, un certain nombre de pratiques rencontrées sur Internet et dénonçait à cette occasion le manque de transparence des comparateurs de prix. L'UFC insistait notamment sur le flou des partenariats commerciaux mis en place entre les moteurs de comparaison de prix et les sites marchands. L'UFC faisait également remarquer que l'aspect informatif de tels sites nécessiterait que les conditions de collecte d'informations apparaissent plus souvent de façon évidente. Dix ans plutard, un arrêt de la cour d'appel de Grenoble alignait les même griefs contre le comparateur de prix Kelkoo, l'assimilant à une vitrine publicitaire. Lire à ce sujet l'article du magazine
Que Chosir !
Le mode de financement des comparateurs de prix est au coeur du problème. En mars 2000, l'effondrement de la bulle Internet et des parts de marché de la publicité en ligne obligèrent les comparateurs de prix à créer des partenariats nouveaux avec les boutiques en ligne. Le référencement de produits et l'apport de visiteurs devint payant. Certains ont renoué depuis avec l'indépendance et mettent en avant cet argument pour fidéliser les Internautes.
En Janvier 2002, Kelkoo annonçait sa volonté de dépasser le modèle classique de l'outil de comparaison affichant les prix de ses affiliés pour devenir un guide d'achat exhaustif et informatif.
Cette évolution rejoint la demande du cyber-consommateur pour une plus grande quantité d'informations.
Ainsi de nombreux comparateurs de prix ajoutent aux fiches produits de leurs partenaires des données glanées sur la toile par des robots.
Durant le quatrième trimestre de l'année 2006, la DGCCRF a réalisé une enquête ayant pour objet de vérifier la transparence de l'offre apportée par les sites comparateurs de prix.
Dans ces conclusions, l'agence regrettait d'avoir trop souvent rencontré un manque d'information sur l'origine des données et parfois la mise en avant des offres de partenaires commerciaux.
Comment fonctionne un comparateur de prix ?
Les shopbots appartiennent à de la famille des services de recherche verticaux. Comme les moteurs de recherche, ils doivent satisfaire trois exigences : fraîcheur de l'information, exhaustivité et pertinence des résultats.
La clé du succès relève probablement du bon dosage de ces trois aspects : un algorithme de classement efficace avec une base données épurée et réactualisée plusieurs fois par jour. La collecte des données marchandes par les comparateurs de prix est une opération complexe qui se réalise principalement selon deux méthodes :
- Le crawl ou aspiration de page web. Cette technique permet de créer des fiches produit par extraction des données utiles.
- L'utilisation de flux catalogue mis en place par les marchands. Différents formats de données standardisées sont utilisés, tels que XML, CSV ou Excel.
La 1ère méthode montre rapidement ses limites car elle demande une analyse très pointue des pages. La lourdeur du traitement ne permet pas de mises à jour fréquentes des informations. Au contraire, les avantages des flux formatés sont nombreux : extraction et intégration des données rapide et sans erreur, indépendance avec la mise en page du site. Cette technique permet des mises à jour rapprochées, plusieurs fois par 24H, car le traitement est rapide et les fichiers sont légers. Les flux formatés mis à disposition par les sites marchands sont donc utilisés en priorité par tous les comparateurs de prix que ce soit ou non selon le modèle de rémunération du "pay per click".
Les petites boutiques en ligne ne proposant souvent pas de flux d'indexation, le modèle "search and crawl" conserve son utilité en complément des flux catalogue, et dans un soucis d'exhaustivité. Froogle (technologie Google) fut le premier comparateur de prix à utiliser des données crawlées sur le web américain. Une partie des bases de données de Kelkoo et Leguide est également issue de données crawlées. Ces comparateurs de prix peuvent alors faire valoir leur indépendance au regard des sites marchands et satisfaire les internautes de plus en plus séduits par la quantité d'information fournie par ces outils. Les résultats sont parfois parasités par des produits mal orthographiés, mal identifiés ou par des accessoires à un tel point que certains comparateurs doivent passer par une phase de vérification manuelle de leur base de données.
... dernière mise à jour : avril 2011