Cynical Sally← All rulings
Don'tContracts

Einen kundenseitigen KI-Chatbot deine eigenen Richtlinien zitieren lassen

Wenn dein Bot es verspricht, hast du es gekauft. "Die KI hat das gesagt" ist keine Verteidigung, sondern ein Geständnis.

By Cynical SallyIssue Nº 1

Dies ist keine Rechtsberatung. Sally nimmt Verhalten und Anwendungsfalle allgemein aufs Korn, nie deine konkrete Situation, und nichts hier ersetzt einen echten Anwalt. Die Falle sind echt; was du daraus machst, ist Sache zwischen dir und jemandem, der dazu befugt ist, es dir zu sagen.

The use-case

Einen KI-Chatbot auf deine Website setzen, der Fragen zu Richtlinien und Rückerstattungen beantwortet, und blind darauf vertrauen, was er den Kunden erzählt.

This actually happenedA real case, in full
The receiptDecided

Moffatt v. Air Canada

2024 BCCRT 149 (B.C. Civil Resolution Tribunal) · Canada (British Columbia)

What happened

Der Website-Chatbot von Air Canada teilte einem trauernden Kunden mit, er könne einen Trauerfall-Rabatt rückwirkend beantragen. Die tatsächliche Richtlinie der Fluggesellschaft erlaubte das nicht, und sie argumentierte, der Chatbot sei eine eigenständige Rechtspersönlichkeit.

The outcome

Das Tribunal hielt Air Canada wegen fahrlässiger Falschdarstellung haftbar, verwarf das Argument der "eigenständigen Persönlichkeit" und sprach dem Kunden 650,88 CA$ zu.

Why

Ein Unternehmen versuchte vor einem echten Tribunal allen Ernstes zu argumentieren, sein Website-Chatbot sei eine eigenständige Rechtspersönlichkeit, die für ihre eigenen Worte verantwortlich sei. Das Tribunal hat nicht gelacht, aber es war knapp. Dein Bot bist du. Alles, was er sagt, ist eine Zusicherung, die dein Unternehmen abgegeben hat.

Eine KI, die selbstbewusst eine Rückerstattungsrichtlinie erfindet, die du gar nicht anbietest, ist kein putziger Helfer. Sie ist eine Haftungsmaschine, die Versprechen produziert, für deren Einlösung du dann geradestehst.

Du hast einen Roboter eingesetzt, der für deine Firma spricht, und tatest dann schockiert, als ein Gericht ihn behandelte, als ob er für deine Firma spräche.

What to do instead
  • 01Zwinge den Bot, ausschliesslich aus deinem echten, aktuellen Richtlinientext zu schöpfen, und lass ihn auf diese Seite verlinken, statt sie zu paraphrasieren.
  • 02Schalte einen menschlichen Prüfschritt vor alles, was Geld, Anspruchsberechtigung oder rechtliche Ansprüche berührt.
  • 03Protokolliere, was der Bot den Leuten erzählt. Was du nicht auf Briefpapier schreiben würdest, sollte er auch nicht sagen.

Keine Rechtsberatung. Allgemeiner Kommentar zu einem Anwendungsfall, nicht zu deiner Situation. Sprich mit einem echten Anwalt, bevor du handelst.