Comment les moteurs se comparent pour s'améliorer rapidement

En regardant derrière le rideau des premiers moteurs de recherche, on découvre une curiosité étonnamment peu technologique : des équipes menant des expériences côte à côte, comme des cuisiniers goûtant la soupe d'un concurrent pour améliorer leur propre recette. Cette révélation provient de David Friedberg, un ancien ingénieur de Google, qui dit que l'entreprise envoyait systématiquement des millions de requêtes textuelles à Microsoft et Yahoo pour voir comment ces moteurs répondaient.

Phrase courte. Idée simple. Comparer les résultats. Améliorer le classement. Tel était l'essentiel de ce que les ingénieurs appelaient la technique de « distillation », pas de l'espionnage, mais une évaluation comparative à grande échelle. Les développeurs collectaient des résultats accessibles au public, analysaient les tendances et utilisaient ces informations pour resserrer les signaux de pertinence et ajuster les heuristiques de classement.

« Nous envoyions des millions de requêtes aux moteurs de recherche de Yahoo et de Microsoft pour voir quels étaient leurs résultats », se souvient Friedberg. « Nous comparions leurs résultats aux nôtres pour améliorer notre classement et nos algorithmes de recherche. » Le processus était méthodique. Il était aussi révélateur : les comparaisons côte à côte mettaient en évidence les domaines où Google était moins performant et ceux où il pouvait apprendre.

Est-ce du vol ? Pas au sens littéral. Les ingénieurs affirmaient que l'équipe n'avait jamais piraté les serveurs des concurrents ni récupéré du code propriétaire. Ils analysaient les résultats publics, comme les extraits, les classements et les comportements visibles des systèmes concurrents, et les utilisaient comme retour d'information. Voyez cela comme lire le tableau de score, pas le plan de jeu.

Nous comparions les résultats ; nous ne nous sommes pas introduits ni n'avons copié leur code.

Pourquoi cela a-t-il de l'importance aujourd'hui ? Parce que les tactiques utilisées pour entraîner et tester les algorithmes de recherche façonnent ce que voient les utilisateurs. Les pratiques en phase initiale, comme la distillation, ont accéléré le développement, permettant aux équipes d'identifier les cas limites et les modes de défaillance plus rapidement que ne le permettrait un test interne seul. À bien des égards, ces comparaisons constituaient une forme de contrôle qualité continu, un miroir tendu à un produit naissant.

Cette histoire remet également en perspective les récits courants sur l'innovation. La concurrence ne signifie pas toujours vol clandestin. Parfois, cela ressemble à deux enfants dans des jardins voisins, chacun observant comment l'autre construit une meilleure rampe de skateboard, puis expérimentant pour améliorer sa propre conception. Itération plus rapide. Plus de résilience. De meilleurs résultats pour les utilisateurs.

Le témoignage de Friedberg rappelle que les moteurs de recherche ont évolué autant par la pratique que par la théorie. Il soulève de nouvelles questions sur la transparence et l'éthique dans le développement des algorithmes, surtout maintenant que les systèmes d'apprentissage automatique peuvent ingérer et imiter d'immenses pans de contenus publics visibles. Jusqu'où l'analyse comparative peut-elle aller ? Qui décide de ce qui est permis ?

Le passé, il s'avère, est un laboratoire utile. Et à mesure que la technologie de recherche évolue, l'étiquette de l'observation du travail du voisin évoluera elle aussi, pour l'inspiration, non pour l'appropriation.