Welches Modell das beste ist, spielt eine kleinere Rolle als die Frage, welche Ihrer Daten das Haus verlassen dürfen und was Sie mit dem Rest tun.
Wo Sprachmodelle heute tatsächlich helfen
Nützlich sind Sprachmodelle vor allem bei Aufgaben, bei denen es ums Lesen, Zusammenfassen, Einordnen und Wiederfinden geht. Ein Angebot aus einer langen Mail herausziehen. Zwanzig Protokolle nach einer Zusage durchsuchen. Einen Vertragsentwurf gegen eine Vorlage stellen und die Abweichungen benennen. Das sind Tätigkeiten, die heute Menschen erledigen, weil bisher nichts anderes ging.
Fehl am Platz sind sie überall dort, wo eine Aussage stimmen muss und niemand sie nachprüft. Ein Sprachmodell erzeugt plausible Sätze, keine wahren. Nützlich ist ein Modell dort, wo ein Mensch das Ergebnis in Sekunden beurteilen kann, und kaum dort, wo er alles erst mühsam nachrecherchieren müsste.
Deshalb kommt zuerst die Frage nach der Aufgabe und erst danach die nach dem Modell. Wenn Sie diese Aufgabe nicht in einem Satz benennen können, ist es für die Technik noch zu früh.
Der Datenschutz kommt nicht am Ende
Der Einsatz eines Sprachmodells ist eine Verarbeitung personenbezogener Daten wie jede andere. Sie braucht eine Rechtsgrundlage, gehört ins Verarbeitungsverzeichnis, und je nach Risiko ist eine Datenschutz-Folgenabschätzung fällig.
Bei einem Anbieter außerhalb der EU kommen die Fragen der Drittlandsübermittlung hinzu. Bei einem Anbieter, der Ihre Eingaben zum Training verwenden darf, stellt sich die Frage, ob Sie das überhaupt dürfen. Bei Mandantendaten, Gesundheitsdaten oder Personalakten lautet die Antwort meistens nein.
Wichtig ist, das vor der Einführung zu klären und nicht danach. Ein bereits eingeführtes Werkzeug wieder abzuschaffen, weil die Prüfung negativ ausfällt, ist teuer und unpopulär.
Was „souverän“ praktisch bedeutet
Souverän heißt: Das Modell läuft auf Hardware, über die Sie oder Ihr Dienstleister verfügen, und die Eingaben verlassen diese Umgebung nicht. Damit entfallen Drittlandsübermittlung, Trainingsfrage und die Abhängigkeit von Preisänderungen eines Anbieters in einem Zug.
Der Preis dafür ist Rechenleistung. Für die genannten Aufgaben, also zusammenfassen, einordnen, wiederfinden, reichen heute Modelle, die auf einem einzelnen Server mit passender Grafikkarte laufen. Das ist eine Investition in der Größenordnung eines guten Servers, nicht eines Rechenzentrums.
Rechnen Sie Strom und Kühlung mit ein. Eine Maschine mit zwei leistungsfähigen Grafikkarten zieht unter Last deutlich mehr als ein üblicher Server. Im eigenen Büroschrank wird das schnell zum Problem, im Rechenzentrum ist es eine Zeile im Vertrag.
So fangen Sie am besten an
Fangen Sie mit einer einzigen Aufgabe an, die messbar Zeit kostet. Legen Sie vorher fest, welche Daten hineindürfen und welche nicht, und zwar schriftlich, damit es auch in drei Monaten noch gilt. Lassen Sie die Beteiligten das Ergebnis eine Zeit lang gegenlesen und protokollieren, wie oft es tragfähig war.
Nach ein paar Wochen wissen Sie, ob sich der Aufwand lohnt. Diese Zahl ist mehr wert als jede Marktstudie, weil sie aus Ihren Unterlagen und Ihrer Sprache stammt.
Und behalten Sie im Blick, dass die Technik sich schnell bewegt. Was heute eine große Maschine braucht, läuft in zwei Jahren womöglich auf deutlich kleinerer Hardware. Bauen Sie deshalb so, dass das Modell austauschbar bleibt.
