| Re:robots.txt und User Agent |  |
>IMO sollten solche Tools verpflichtet sein, spezielle User Agents zu nutzen (Open AI macht das wohl jetzt, hat es aber nicht immer) und AI-Scraping sollte in der robots.txt opt-in sein und das verbindlich. K.A., wie man das durchsetzen sollte (hm, Gesetze?), aber das Zeug ist einfach zu mächtig für "move fast and break things".
Bessere Alternative: das neue Maniac-Forum nutzt den DNS von Cloudflare. Dort kann man unter Anderem aktivieren, dass AI-Bots geblockt werden. Ich glaube mit robots.txt allein kommst du maximal gegen große seriöse AI-Anbieter an aber wie das beim Scrapen so ist, tummeln sich hier garantiert auch viele schwarze Schafe, die eine robots.txt oder auch gesetzliche Regelungen (z.B. im Ausland sitzend) ignorieren. Da muss man technisch eine Ebene höher gehen.
Greets
Rocco