Wir setzen lokale KI-Systeme auf: vom Modell über die Anbindung an Ihre Dokumente bis zum Betrieb.
Die meisten KI-Angebote funktionieren nach demselben Muster: Ihre Daten gehen zu einem Anbieter, und was dort damit geschieht, steht in einem Vertrag, den Sie nicht verhandeln können. Für Mandantendaten, Personalakten oder Konstruktionsunterlagen kommt das nicht in Frage. Wir bauen deshalb lokale Systeme: ein Sprachmodell auf Ihrer oder unserer Hardware, angebunden an Ihren eigenen Dokumentenbestand und eingebettet in die Anwendungen, mit denen Ihr Team ohnehin arbeitet.
Ein Sprachmodell allein weiß nichts über Ihr Haus. Bei einem RAG-System (Retrieval Augmented Generation) werden Ihre Dokumente zerlegt, durchsuchbar abgelegt und zur Frage passend hinzugeladen. Die Antwort stützt sich dann auf Ihre Verträge, Protokolle und Handbücher und nennt die Quelle, sodass jemand nachschlagen kann. Das ist der Unterschied zwischen einer nachprüfbaren Auskunft und einem plausibel klingenden Satz.
Ein zusätzliches Programmfenster, das man extra öffnen muss, bleibt erfahrungsgemäß zu. Nützlich wird KI erst, wenn sie im vorhandenen Arbeitsablauf sitzt, also in der Fachanwendung, im Postfach oder im Dokumentenmanagement. Wir binden Modelle über deren Schnittstellen an. Wo keine vorgesehen ist, bauen wir sie, weil Schnittstellen ohnehin unser Tagesgeschäft sind.
Für einen Kunden aus dem Ingenieurwesen haben wir GPU-Server mit NVMe-Speicher für Simulationsrechnungen aufgebaut und betrieben. Diese Erfahrung steckt in jeder KI-Anlage, die wir planen. Wir wissen, was solche Maschinen an Strom, Kühlung und Betreuung brauchen, und dass ein Modell nach der Inbetriebnahme weiter gepflegt werden muss.
Der Einsatz eines Sprachmodells ist eine Verarbeitung personenbezogener Daten wie jede andere: Sie braucht eine Rechtsgrundlage, einen Eintrag im Verarbeitungsverzeichnis und je nach Risiko eine Folgenabschätzung. Bei einem RAG-System kommt die Frage hinzu, wer welche Dokumente überhaupt abfragen darf: Die Rechte des Quellsystems müssen mitwandern. Darum kümmern sich unsere eigenen Fachleute.
IT-Projekte scheitern selten an der Handarbeit. Sie scheitern an der Planung davor.
AnsehenManche Kunden bringen einen einzelnen Server in unsere Racks im Rechenzentrum, andere gleich ihre ganze IT.
AnsehenWir entwickeln Software, die es so nicht zu kaufen gibt, und verbinden Systeme, die eigentlich nicht zusammenpassen. KI hilft uns dabei, wo sie tatsächlich etwas bringt.
AnsehenDas hängt am Modell, das laufen soll, und an der Zahl der Nutzer, die gleichzeitig fragen. Den Unterschied macht die Grafikkarte samt Speicher, nicht der Server drumherum. Deshalb rechnen wir das vor der Beschaffung aus, mit Strom, Kühlung und Betreuung. Und wenn sich eigene Hardware für Sie nicht lohnt, raten wir davon ab. Wer zehn Anfragen am Tag hat, mietet besser Rechenzeit auf unseren Servern. Eine eigene Maschine stünde bei ihm die meiste Zeit still.
Für ein kleines Modell auf einem Arbeitsplatzrechner manchmal, für den Mehrbenutzerbetrieb fast nie. Entscheidend ist der Grafikspeicher: Passt das Modell nicht hinein, rechnet die Maschine auf dem Hauptprozessor weiter, und dann wartet der Nutzer Minuten statt Sekunden. Wir sehen uns an, was Sie haben, und sagen Ihnen, was damit geht. Ein vorhandener Server mit freien Steckplätzen ist oft die günstigere Antwort als ein neuer.
Aus Ihren Unterlagen, nicht aus dem Training. Bei einem RAG-System (Retrieval Augmented Generation) werden Ihre Dokumente zerlegt, durchsuchbar abgelegt und zur jeweiligen Frage passend hinzugeladen. Die Antwort stützt sich dann auf Ihre Verträge, Protokolle und Handbücher und nennt die Belegstelle, sodass jemand nachschlagen kann. Ihre Dokumente wandern dabei nicht in ein Modell, sie bleiben Ihre Dateien.
Der Einsatz eines Sprachmodells ist datenschutzrechtlich eine Verarbeitung wie jede andere. Sie braucht eine Rechtsgrundlage, einen Eintrag im Verarbeitungsverzeichnis und, je nach Risiko, eine Folgenabschätzung nach Art. 35 DSGVO. Bei Personaldaten kommt die Mitbestimmung hinzu, sobald das System Verhalten oder Leistung auswerten könnte. Und ein Punkt, der regelmäßig übersehen wird: Bei einem RAG-System müssen die Rechte des Quellsystems mitwandern. Wenn die Buchhaltung über das Modell an Personalakten kommt, haben Sie kein KI-Projekt, sondern ein Berechtigungsproblem mit Chatfenster. Bewerten können wir das im eigenen Haus, unsere Datenschutz-Fachkräfte sitzen hier.
Ein Telefonat von zehn Minuten klärt meistens schon, ob und wie wir helfen können. Kostenlos und unverbindlich unter 0800 271-2000.