Thema:
robots.txt und User Agent flat
Autor: publicmaw
Datum:26.07.24 22:17
Antwort auf:Re:OpenAI kündigt Suchmaschine SearchGPT an... von futzi

IMO sollten solche Tools verpflichtet sein, spezielle User Agents zu nutzen (Open AI macht das wohl jetzt, hat es aber nicht immer) und AI-Scraping sollte in der robots.txt opt-in sein und das verbindlich. K.A., wie man das durchsetzen sollte (hm, Gesetze?), aber das Zeug ist einfach zu mächtig für "move fast and break things".

< antworten >