KI-Wissensmanagement4. September 2026

Firmenwissen für KI: Warum ChatGPT deinen Betrieb nicht kennt — und wie du das an einem Nachmittag änderst

TL;DR

KfW Research hat am 11. Februar 2026 ausgewertet, wie KI im Mittelstand ankommt: 20 % der Unternehmen nutzen mindestens eine KI-Technologie — rund 780.000 Betriebe, das Fünffache von 2016 bis 2018. Die interessantere Zahl ist die Tiefe: „Erzeugung natürlicher Sprache" kommt auf 14 %, Data Analytics auf 3 %. Übersetzt: Die meisten lassen Texte schreiben, mehr nicht. Der Grund ist selten das Modell — es ist der fehlende Kontext. Die KI kennt deinen Betrieb nicht. Nicht deine Preise, nicht deine Standardantworten, nicht die 30 Fragen, die dir jede Woche gestellt werden. Die Lösung heißt Retrieval-Augmented Generation (RAG), und für einen Ein-Personen-Betrieb bedeutet sie nicht „System bauen", sondern „drei Dateien anlegen und ein Projekt einrichten". Unten: die drei Ausbaustufen, die Fünf-Schritte-Anleitung für den ersten Nachmittag, die Limits, an denen es praktisch scheitert — und was aus Verschwiegenheitsgründen nicht hineingehört.

Du kennst den Moment: Du fragst ChatGPT oder Claude nach einer Formulierung für ein Kundenanschreiben, bekommst etwas grundsätzlich Brauchbares zurück — und schreibst es dann doch zur Hälfte um. Nicht weil die KI schlecht wäre, sondern weil sie nicht weiß, wie du arbeitest. Sie kennt deine Preisliste nicht, deinen Ablauf beim Erstgespräch nicht, die drei Einwände nicht, die bei dir immer kommen. Also lieferst du bei jedem Prompt denselben Kontext nach. Jedes Mal aufs Neue.

Genau an dieser Stelle hört bei den meisten die KI-Nutzung auf, gute Absichten hin oder her. Nicht mit einem Knall, sondern mit einem Achselzucken: „Für Texte ganz nett, aber für die eigentliche Arbeit zu umständlich." Dieser Beitrag zeigt, wie du diesen Punkt überwindest — ohne Entwickler, ohne Vektordatenbank, ohne Projektbudget.

Die KfW-Zahlen zeigen, wo es wirklich hakt

KfW Research wertet mit dem Mittelstandspanel jährlich eine repräsentative Befragung deutscher Mittelständler aus. Die KI-Sonderauswertung vom 11. Februar 2026 (Fokus Volkswirtschaft Nr. 533) und die Vertiefung vom Juli 2026 (Nr. 554) zeichnen zusammen ein Bild, das erst auf den zweiten Blick unbequem wird:

Die Verbreitung ist da — 20 %

20 % der mittelständischen Unternehmen setzen mindestens eine KI-Technologie ein, in absoluten Zahlen knapp 780.000 Unternehmen. Gegenüber dem Zeitraum 2016 bis 2018 (4 %) ist das etwa das Fünffache. Auch bei den Kleinsten mit unter fünf Beschäftigten sind es 19 %. Die Technologie ist also angekommen, auch im Ein-Personen-Betrieb.

Die Tiefe fehlt — 14 % gegen 3 %

Am weitesten verbreitet sind breit einsetzbare, einfach nutzbare Anwendungen: „Erzeugung natürlicher Sprache" liegt bei 14 %, Texterkennung bei 10 %. Anspruchsvollere Technologien wie Data Analytics kommen auf 3 %, KI zur autonomen Steuerung von Maschinen auf 1 %. Die große Mehrheit nutzt KI also als Schreibmaschine mit Meinung — nicht als etwas, das mit den eigenen Daten arbeitet.

Nicht die Größe entscheidet — 35 % gegen 19 %

Unternehmen mit einer Digitalisierungsstrategie nutzen KI zu 35 %, Unternehmen mit abgeschlossenen Digitalisierungsvorhaben aber ohne Strategie zu 26 %, Unternehmen ganz ohne Digitalisierungsaktivitäten nur zu 19 %. Rechnet man solche Merkmale heraus, kommt der Unternehmensgröße laut KfW „lediglich eine untergeordnete Bedeutung" zu. Das ist die eigentlich gute Nachricht für Solo-Selbstständige: Du bist nicht zu klein. Du bist höchstens unstrukturiert.

Aus diesen drei Befunden folgt eine praktische Diagnose. Der Sprung von „KI schreibt mir Texte" zu „KI arbeitet mit meinem Betrieb" ist keine Frage von mehr Werkzeugen oder besseren Prompts. Er ist eine Frage davon, ob dein Wissen in einer Form vorliegt, die eine Maschine lesen kann.

Warum die KI deinen Betrieb nicht kennt

Ein Sprachmodell hat gelernt, wie Sprache funktioniert, und dabei sehr viel Weltwissen mitgenommen. Was es nicht gelernt hat: alles, was nur bei dir steht. Deine Konditionsübersicht, dein Beratungsleitfaden, die Mail, die du zum dritten Mal fast wortgleich schreibst. Dieses Wissen ist nirgends im Modell, und es kommt auch nicht hinein, indem du länger mit dem Modell chattest.

Der zweite, häufig übersehene Punkt: Ein Chat vergisst. Was du in einem Gespräch mühsam erklärt hast, ist im nächsten weg. Deshalb fühlt sich intensive KI-Nutzung oft an wie Arbeit mit einem sehr klugen Praktikanten, der jeden Morgen ohne Erinnerung wiederkommt. Du bezahlst diesen Kontextverlust in Minuten, jeden Tag, und irgendwann rechnet sich das Ganze für dich nicht mehr. Das ist kein Bedienfehler — das ist die Standardeinstellung.

RAG, ohne Buzzword-Wolke

Der Fachbegriff für die Lösung lautet Retrieval-Augmented Generation, kurz RAG. Die Idee ist unspektakulärer, als der Name vermuten lässt, und lässt sich in zwei Sätzen sagen: Deine Dokumente werden in kleine Abschnitte zerlegt und durchsuchbar abgelegt. Stellst du eine Frage, sucht das System zuerst die passenden Abschnitte heraus und legt sie dem Modell zusammen mit deiner Frage vor — erst dann antwortet es.

Drei Konsequenzen daraus sind für dich praktisch relevant. Erstens: Das Modell wird nicht trainiert. Deine Unterlagen fließen nicht in die Modellgewichte, sie liegen in einem Speicher, auf den nur deine Instanz zugreift. Zweitens: Antworten werden belegbar. Ein gutes RAG-Setup sagt dir, aus welchem Dokument eine Aussage stammt — du kannst gegenprüfen statt zu glauben. Drittens: Aktualität ist eine Frage des Hochladens, nicht des Nachtrainierens. Neue Preisliste rein, alte raus, fertig.

Und jetzt der Teil, den Anbieter selten betonen: Für einen Ein-Personen-Betrieb musst du dafür überhaupt nichts bauen. Die großen KI-Anbieter haben RAG längst eingebaut — du merkst es nur nicht, weil es dort nicht so heißt.

Drei Ausbaustufen — und warum Stufe 1 für die meisten reicht

Stufe 1: Projekt-Wissensbasis — heute, ohne Zusatzkosten

Sowohl Claude als auch ChatGPT bieten Projekte an: einen Arbeitsbereich mit fest hinterlegten Dateien und dauerhaften Anweisungen, die in jedem Chat innerhalb des Projekts automatisch gelten. Bei Claude heißt der Dateibereich Projekt-Wissen; wird die Wissensbasis zu groß fürs Kontextfenster, schaltet das System auf den bezahlten Plänen selbstständig auf Retrieval um — laut Anthropics Hilfe-Center erweitert das die nutzbare Kapazität um etwa das Zehnfache. Für 90 % dessen, was Berater und Makler brauchen, ist diese Stufe das Ziel, nicht der Zwischenschritt.

Stufe 2: Live-Anbindung an deine Systeme

Wenn dein Wissen nicht in Dateien liegt, sondern in einem CRM, einem Kalender oder einer Datenbank, kommst du mit hochgeladenen Dokumenten nicht weit — hochgeladen heißt eingefroren. Hier setzen Konnektoren an, technisch heute meist über das Model Context Protocol. Wie das praktisch funktioniert, habe ich in MCP: KI mit den eigenen Tools verbinden auseinandergenommen. Sinnvoll wird diese Stufe, sobald sich deine Daten schneller ändern, als du hochladen magst.

Stufe 3: Eigenes RAG-System

Eine selbst betriebene Wissensdatenbank mit Vektorspeicher, eigener Zugriffssteuerung und Protokollierung. Das ist echte Projektarbeit mit laufendem Betrieb — und lohnt sich, wenn mehrere Personen mit unterschiedlichen Berechtigungen auf denselben Bestand zugreifen sollen oder Nachvollziehbarkeit dokumentiert werden muss. Für einen Ein-Personen-Betrieb ist es fast immer die teure Antwort auf eine Frage, die Stufe 1 schon beantwortet hat.

Die ehrliche Empfehlung: Fang auf Stufe 1 an und bleib dort, bis du einen konkreten Grund hast, weiterzugehen. Der häufigste Fehler in diesem Themenfeld ist nicht zu wenig Technik, sondern zu viel davon zu früh — ein sauber gepflegtes Projekt schlägt ein halbfertiges Eigenbau-System jeden Tag.

Der Nachmittag: fünf Schritte

Das Folgende ist bewusst klein gehalten. Du brauchst keinen Wissensmanagement-Prozess, du brauchst einen Anfang, der nach zwei Stunden funktioniert:

1 Sammle die 20 bis 30 Fragen, die dir wirklich gestellt werden. Nicht ausdenken — nachschauen. Geh die letzten vier Wochen Mails und WhatsApp durch und schreib die wiederkehrenden Fragen ab. Diese Liste ist das eigentliche Kapital des ganzen Vorhabens; alles Weitere ist Fleißarbeit.
2 Bündle alles in drei Dateien, nicht in dreißig: eine Q&A-Sammlung im Format Frage / Antwort / Stand, eine Grundlagen-Datei mit Leistungen, Preisen, Abläufen und Konditionen, und eine Stil-Datei mit zwei bis drei echten Beispieltexten von dir plus deinen Sprachregeln. Wenige, gut benannte Dateien werden zuverlässiger gefunden als viele kleine.
3 Leg pro Aufgabe ein eigenes Projekt an — „Kundenkorrespondenz", „Angebote", „Content". Ein Projekt, in das alles hineinwandert, liefert unschärfere Antworten als drei schmale. Bei Claude sind Projekte auch im kostenlosen Plan verfügbar, dort auf fünf begrenzt; die bezahlten Pläne haben kein Limit.
4 Schreib die Projektanweisung — das ist der Schritt, der über alles entscheidet. Dateien allein machen aus der KI nur einen belesenen Fremden. Leg fest: in welcher Rolle sie antwortet, dass sie sich ausschließlich auf die hinterlegten Unterlagen stützt, dass sie die Quelle nennt und dass sie „weiß ich nicht, das steht nicht in den Unterlagen" sagen soll, statt zu raten. Dieser letzte Satz ist der wirksamste Halluzinationsschutz, den du ohne Technik bekommst.
5 Teste mit zehn echten Fragen aus Schritt 1, bevor du dich darauf verlässt. Geprüft wird dreierlei: Stimmt die Antwort fachlich? Kommt sie aus deinen Unterlagen oder aus dem Allgemeinwissen des Modells? Und sagt sie bei einer Frage, die deine Dateien nicht abdecken, ehrlich nichts? Wenn Punkt drei scheitert, liegt es fast immer an der Anweisung, nicht an den Dateien.

Die Limits, an denen es in der Praxis scheitert

Drei Stolperstellen kosten erfahrungsgemäß am meisten Zeit — alle drei sind vermeidbar, wenn man sie vorher kennt:

Chat-Upload und Projekt-Wissen sind zwei verschiedene Töpfe

Das ist die häufigste Überraschung. Nach dem Stand der Anthropic-Hilfe von Ende August 2026 gelten für Anhänge in einem einzelnen Chat bis zu 500 MB pro Datei, 20 Dateien pro Chat und bis zu 1.000 PDF-Seiten — für Dateien im Projekt-Wissen dagegen 30 MB pro Datei. Eine Datei, die im Chat problemlos durchgeht, kann im Projekt abgelehnt werden. Die Zahl der Projektdateien selbst ist nicht gedeckelt, wohl aber das, was insgesamt verarbeitet werden kann.

Hochgeladen heißt eingefroren

Projektdateien aktualisieren sich nicht von selbst und lassen sich auch nicht an Ort und Stelle bearbeiten: Du entfernst die alte Version und lädst die neue hoch. Bei allem, was sich regelmäßig ändert — Konditionen, Preisliste, Fristen —, gehört dieser Austausch fest in deine Routine. Sonst arbeitet deine KI ab Monat drei zuverlässig mit veralteten Zahlen, und zwar ohne dich zu warnen. Setz dir dafür einen wiederkehrenden Termin und schreib in jede Datei ein sichtbares Standdatum.

Die Dokumentation zur Retrieval-Umschaltung ist uneindeutig

Ob die automatische Umschaltung auf Retrieval bei großen Wissensbasen auf allen Plänen greift oder nur auf den bezahlten, wird in Anthropics eigener Dokumentation an verschiedenen Stellen unterschiedlich beschrieben. Plan deshalb nicht mit dem Zehnfachen als Zusage, sondern prüf für deinen Plan, was tatsächlich passiert — und halte die Wissensbasis ohnehin schlank. Kuratiert schlägt vollständig, in jedem RAG-Setup.

ChatGPT bietet mit Projects dasselbe Grundprinzip aus hinterlegten Dateien und dauerhaften Anweisungen. Die konkreten Datei- und Mengenbegrenzungen unterscheiden sich je nach Plan und wurden zuletzt mehrfach angepasst — verlass dich hier nicht auf Blogzahlen, meine eingeschlossen, sondern schau im eigenen Konto nach, was dir angezeigt wird.

Was nicht in die Wissensbasis gehört

Der Reflex, gleich „alles" hochzuladen, ist verständlich und an genau einer Stelle gefährlich: bei personenbezogenen Daten. Für die Wissensbasis gilt eine einfache Grenze — Betriebswissen ja, Mandanten- und Kundendaten nein. Dein Beratungsleitfaden, deine Musterschreiben, deine Konditionsübersicht, deine Q&A-Sammlung: unkritisch. Konkrete Kundenakten, Selbstauskünfte, Gehaltsnachweise, Objektunterlagen mit Namen, Gesprächsprotokolle mit Dritten: nicht in die allgemeine Wissensbasis.

Das ist keine Formalie. Als Finanzberater oder Makler arbeitest du mit besonders schutzbedürftigen Daten und meist zusätzlich unter vertraglichen Verschwiegenheitspflichten. Eine Projektwissensbasis ist ein dauerhafter Speicher, kein flüchtiger Chat — was einmal drin liegt, wirkt in jedem Gespräch dieses Projekts weiter. Wenn du mit echten Kundendaten arbeiten willst, ist das eine eigene Entscheidung mit eigener Rechtsgrundlage, eigenem Anbietervertrag und eigener Dokumentation. Die Kriterien dafür habe ich in DSGVO-konforme KI für Finanzberater zusammengestellt. Für den Einstieg brauchst du all das nicht — anonymisierte Muster leisten fachlich dasselbe.

Häufige Fragen

Brauche ich dafür ein bezahltes Konto?
Zum Ausprobieren nicht. Projekte gibt es bei Claude auch im kostenlosen Plan, dort auf fünf begrenzt. Die automatische Retrieval-Erweiterung für große Wissensbasen wird allerdings den bezahlten Plänen zugeordnet — mit drei schlanken Dateien kommst du auch ohne sie sehr weit.

Werden meine Unterlagen zum Training verwendet?
RAG trainiert das Modell grundsätzlich nicht — deine Dateien landen in einem Speicher, nicht in den Modellgewichten. Ob ein Anbieter deine Eingaben darüber hinaus zur Verbesserung seiner Modelle verwendet, ist eine davon getrennte Frage und hängt an Plan und Einstellungen. Prüf das in den Konteneinstellungen, bevor du Betriebsunterlagen hochlädst, nicht danach.

Wie viele Dateien sind sinnvoll?
Weniger als du denkst. Drei bis fünf gut strukturierte, sprechend benannte Dateien pro Projekt schlagen dreißig kleine Schnipsel — jedes Dokument, das nichts Eigenes beiträgt, macht die Suche unschärfer und die Antworten beliebiger.

Was, wenn die KI trotzdem etwas erfindet?
Dann fehlt in aller Regel die Anweisung, sich ausschließlich auf die hinterlegten Unterlagen zu stützen und Wissenslücken offen zu benennen. Verlange in der Projektanweisung ausdrücklich Quellenangaben — und behandle jede Antwort ohne Quellenverweis als Antwort aus dem Allgemeinwissen des Modells, die du selbst gegenprüfen musst.

Welches Wissen in deinem Betrieb würde am meisten bringen?

Im KI-Audit gehen wir deine wiederkehrenden Aufgaben durch, identifizieren die Wissensbestände mit dem größten Hebel und bauen die erste Projekt-Wissensbasis gemeinsam auf — inklusive der Abgrenzung, was aus Datenschutzgründen draußen bleibt.

KI-Audit anfragen

Stand: 4. September 2026. Quellen: KfW Research, Fokus Volkswirtschaft Nr. 533 „Einsatz von Künstlicher Intelligenz vor allem in Unternehmen mit hohen Innovations- und Digitalisierungsaktivitäten" (11.02.2026) — Anteil KI-Nutzer, Verteilung nach Digitalisierungsstrategie, Einordnung der Unternehmensgröße; KfW Research, Fokus Volkswirtschaft Nr. 554 (Juli 2026) — Verteilung nach KI-Technologien; KfW-Pressemitteilung vom 11.02.2026 zur Sonderauswertung des KfW-Mittelstandspanels; Anthropic Hilfe-Center zu Projekten, Projekt-Wissen, Dateigrenzen und Retrieval (Stand Ende August / Anfang September 2026, über mehrere unabhängige Auswertungen abgeglichen). Produktgrenzen von KI-Anbietern ändern sich häufig und ohne Ankündigung — maßgeblich ist immer die Anzeige in deinem eigenen Konto. Dieser Beitrag ersetzt keine Datenschutz- oder Rechtsberatung im Einzelfall.

Alle Artikel im Blog