robots.txt für AI-Crawler

Dazu verwendet man eine altbekannte Technik, die man von Suchmaschinen und anderen Bots kennt: Die robots.txt-Datei im Root-Verzeichnis eines Webs. Mit den üblichen Nachteilen, klarerweise. Denn weder sind Spider der KI-Systeme technisch dadurch gezwungen, sie zu befolgen, noch scheren sich eine große Zahl an AI-Crawlern überhaupt um irgendwelche Vorgaben. Selbst die künstliche Intelligenz-Abteilung bei Google hat bisher nicht genau geschaut, wie man die eigenen Standards aus dem Suchmaschinen-Umfeld einsetzen kann und den Crawler einfach über das Web laufen lassen.

robots.txt hilft Suchmaschinen

Von OpenAI kommt nun aber zumindest ein Vorschlag für den eigenen Crawler, der ChatGPT und andere bedient. Und der hängt sich an die Suchmaschinen-Robots.txt an, weitere Anbieter haben auch bereits angekündigt, einen allgemeinen Standard dazu zu schaffen und befolgen zu wollen. Auch Google arbeite für Bard daran - es könnte sich also zumindest ein de facto Standard aus der Initiative entwickeln, bei dem man relevante Player mit Befehlen in der Robots-Datei zügeln kann.

Kennzeichnung des AI-Bots

Erster Schritt ist die Erkennung eines Bots, der im Web crawled. Bei OpenAI ist das im User Agent-String die folgende Kennung:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

Der als GPTBot erkennbare Crawler von ChatGPT bzw. OpenAI ist also beim Abruf bereits zuordenbar, im Fall von OpenAI auch über fix zugeordnete Abruf-IP-Adressen.

Befehle in der Robots.txt

Die robots.txt-Datei wiederum kann man mit üblichen Ausschluss-Befehlen füttern. Der Bot von OpenAI nennt sich hier 'GPTBot'. Ihn aus einem Verzeichnis auszuschließen wäre so möglich: