Google veut un équivalent robots.txt pour entraîner l’IA

Les grands modèles de langage sont formés sur d’énormes quantités de données, y compris le Web. Google Appelle maintenant Pour « Moyens lisibles par machine de sélection et de contrôle des éditeurs Web pour les cas d’utilisation émergents de l’IA et de la recherche » ou un fichier robots.txt à jour.

Google affirme que les éditeurs Web ayant « le choix et le contrôle » sur leur contenu sont un élément important du maintien d’un écosystème dynamique. Indique comment les fichiers robots.txt permettent aux sites de définir si les moteurs de recherche peuvent explorer et indexer leur contenu.

Cependant, nous comprenons que les contrôles existants dans les éditeurs Web ont été développés avant les nouveaux cas d’utilisation de l’IA et de la recherche.

En tant que tel, Google souhaite réunir « des éditeurs Web, la société civile, des universités et bien d’autres du monde entier » pour discuter de l’équivalent moderne de robots.txt pour la formation à l’IA. Notez comment cette communauté a évolué norme Webqui a environ 30 ans, était « simple et transparent ».

Aujourd’hui, la société possède l’expérience de recherche générative, Bard, et forme activement Gemini, son modèle fondamental de nouvelle génération.

Google veut une discussion générale avec un fichier Inscrivez-vous depuis Aujourd’hui, permettez aux groupes d’exprimer leur intérêt avant qu’ils ne partent : « La liste de diffusion est destinée aux membres des communautés Web et d’IA qui souhaitent recevoir de futurs messages concernant le processus de développement de nouveaux moyens lisibles par machine pour fournir un choix et un contrôle aux éditeurs Web. »

Il s’agira de « réunir les personnes intéressées à participer dans les mois à venir ».

En savoir plus sur l’IA de Google :