Apparu à l’époque où les bandes passantes étaient faibles, le fichier Robots.txt célèbre ses 20 ans d’existence.
Si le fichier Robots.txt fait partie d’un protocole aujourd’hui très utilisé dans internet, sa paternité est très floue. Sans en être certaine, la société britannique Nexor pourrait être son origine.
Concrètement, en 1994 lorsque les bandes passantes étaient faibles, le rôle du fichier Robots.txt était d’empêcher les crawlers des moteurs de recherche d’accéder à certaines parties des sites web inutiles en permettant aux webmasters de définir simplement, sous la forme d’un fichier texte, ce qui devait être indexé et ce qui ne devait pas l’être. Si l’idée était de faire de la protection, le but du fichier Robots.txt était surtout d’alléger la charge des serveurs HTML en lui épargnant certaines requêtes inutiles.
Rapidement adopté par les différents acteurs du web, le protocole du fichier Robots.txt fait désormais partie de pratiquement tous les sites web dignes de ce nom.
Histoire de célébrer dignement ce 20e anniversaire, Google a décidé de miser sur l’humour en glissant un easter egg sur sa homepage. Il suffit de saisir la page d’accueil américaine de Google et de la faire suivre de la mention /killer-robots.txt pour accéder un fichier texte formaté d’une manière bien particulière.
En effet, ce fichier contient des exclusions des crawlers pour les robots T-1000 et le T-800, les deux modèles de robots tueurs popularisés par les films Terminator. Concrètement, il est demandé é ces robots d’exclure de leur indexation tout ce qui touche à Larry Page et Sergey Brin, les fondateurs de Google.
Alors que Google a récemment racheté Boston Dynamics, cette allusion humoristique à la robotique vise certainement à dédramatiser certaines critiques à l’encontre de cette acquisition.
