Der KI-Proxy verbindet die Warenwirtschaft mit verschiedenen KI-Anbietern und stellt deren Modelle zentral für unterschiedliche Arbeitsabläufe bereit. Er kann einerseits als eigenständige Anwendung im Browser verwendet werden und ist andererseits direkt in ausgewählte Funktionen der Warenwirtschaft integriert.

Zu den möglichen Einsatzbereichen gehören unter anderem:

• Produkttexte erstellen und überarbeiten
• E-Mails für Kunden formulieren
• Sollbestände und Bestellvorschlagsmengen ermitteln
• Artikel-, Bestell- oder Umsatzdaten auswerten
• Prüfungen im Rechnungseingangsbuch unterstützen
• Dateien, Sprachmemos und unternehmensspezifisches Wissen verarbeiten

Aufbau der Anwendung

Der KI-Proxy besteht aus zwei miteinander verbundenen Bereichen:

Bereich	Beschreibung	Typische Verwendung
Anwendung im Browser	Zentrale Chat-Oberfläche für freie Anfragen an verschiedene KI-Modelle. Hier können unter anderem Dateien, Sprachmemos, Aufgabenprofile und Vector-Stores verwendet werden.	Texte erstellen, Informationen auswerten, Dokumente befragen und Antworten verschiedener Modelle vergleichen.
Funktionen in der Warenwirtschaft	Direkt integrierte KI-Funktionen. Sie werden über die jeweilige KI-Schaltfläche geöffnet und können Daten aus dem aktuellen Arbeitsbereich einbeziehen.	Produkttexte, E-Mails, Sollbestände, Bestellvorschläge und Prüfungen im Rechnungseingangsbuch.

Sowohl die Browser-Anwendung als auch die KI-Funktionen in der Warenwirtschaft verwenden zentral eingerichtete Konversationsprofile und KI-Modelle. In der Browser-Anwendung können zusätzlich Aufgabenprofile, Dateien, Sprachmemos und Vector-Stores verwendet werden.

Die Warenwirtschaft kann hingegen Datenbankfelder, Ergebnisse aus SQL-Skripten und Inhalte aus IIF-Bedingungen an die KI übergeben. Auch dort kann bei Bedarf ein Vector-Store ausgewählt werden.

Einrichtung und Voraussetzungen

Die erstmalige Einrichtung wird in der Regel von einem Administrator durchgeführt. Für einen einfachen Start im Browser genügt zunächst ein eingerichtetes Konversationsprofil. Weitere Komponenten werden nur benötigt, wenn die jeweilige Funktion tatsächlich verwendet werden soll.

Empfohlene Reihenfolge der Ersteinrichtung

1. Zugang beim gewünschten KI-Anbieter einrichten und API-Schlüssel erstellen.
2. Ein Konversationsprofil für den ersten Chat anlegen.
3. Benutzerkonto, Aktivstatus und Chat-Berechtigung prüfen.
4. Einen Testchat im Browser starten und Modell sowie Kostenanzeige kontrollieren.
5. Bei Bedarf Aufgabenprofile und ein Transkriptionsprofil ergänzen.
6. Erst wenn eigene Dokumente gezielt durchsucht werden sollen, ein Embedding-Profil und einen Vector-Store einrichten.
7. Anschließend die benötigten KI-Funktionen in der Warenwirtschaft konfigurieren und testen.

Zugang zu einem KI-Anbieter einrichten

Für die Nutzung eines externen KI-Modells wird ein Zugang beim jeweiligen Anbieter benötigt. Dazu gehört normalerweise ein API-Schlüssel, über den der KI-Proxy Anfragen an den Anbieter senden kann.

1. Legen Sie beim gewünschten KI-Anbieter ein Konto beziehungsweise Projekt an.
2. Erstellen Sie dort den benötigten API-Schlüssel.
3. Öffnen Sie im KI-Proxy Profil → Einstellungen → Profile.
4. Legen Sie ein Profil für den gewünschten Anbieter und Verwendungszweck an.
5. Hinterlegen Sie den API-Schlüssel und wählen Sie das passende Modell.
6. Speichern und testen Sie die Konfiguration.

Modellprofile anlegen

Unter Links im Ki-Proxy auf Profil → Einstellungen → Profile werden die Modelle und deren Zugangsdaten zentral verwaltet. Für jeden Verwendungszweck wird ein passendes Profil benötigt:

• Konversation: Modelle zur Beantwortung von Chat-Anfragen und zur Ausführung von Aufgaben
• Embedding: Modelle zur Umwandlung von Inhalten in Vektoren für einen Vector-Store
• Transkription: Modelle zur Umwandlung von Sprachaufnahmen in Text

Klicken Sie auf Hinzufügen und tragen Sie die folgenden Angaben ein:

1. Typ: Konversation, Embedding oder Transkription
2. Anbieter: der Provider, über den das Modell bereitgestellt wird
3. Modell: das gewünschte Modell des Anbieters
4. Name: eine eindeutige Bezeichnung, unter der das Profil im KI-Proxy angezeigt wird
5. API-Schlüssel: der zum Anbieter beziehungsweise Projekt gehörende Zugangsschlüssel
6. Währung: üblicherweise USD
7. Input-Preis pro 1 Million Tokens: Kosten für die an das Modell übermittelten Inhalte
8. Output-Preis pro 1 Million Tokens: Kosten für die vom Modell erzeugten Inhalte
9. System-Prompt: optional eine übergeordnete Anweisung für alle Anfragen, die über dieses Profil verarbeitet werden

Die hinterlegten Preise bilden die Grundlage für die Kostenanzeige und die statistische Auswertung. Ändert ein Anbieter seine Preise, müssen die Angaben im Profil entsprechend aktualisiert werden.

Viele Anbieter zeigen einen neu erzeugten API-Schlüssel nur einmal vollständig an. Wird ein neues Profil von Grund auf eingerichtet und ist der ursprüngliche Schlüssel nicht mehr sicher verfügbar, muss im Konto beziehungsweise Projekt des Providers ein neuer Schlüssel erstellt werden. Bei Bedarf können bewusst unterschiedliche API-Schlüssel eingesetzt werden, etwa zur Trennung von Projekten, Kostenstellen oder Zugriffsbereichen.

Benutzer und Berechtigungen prüfen

Unter Profil → Einstellungen → Benutzer werden die Zugänge zum KI-Proxy verwaltet. Beim Anlegen eines Benutzers werden Name, Benutzername, E-Mail-Adresse und Passwort hinterlegt. Zusätzlich werden die benötigten Berechtigungen festgelegt:

• Admin: erlaubt den Zugriff auf Verwaltungsfunktionen
• Chat: erlaubt die Nutzung der Chat-Anwendung
• Aktiv: steuert, ob sich der Benutzer überhaupt am KI-Proxy anmelden und diesen verwenden kann

Administratoren können Bereiche einsehen und bearbeiten, die normalen Benutzern nicht zur Verfügung stehen. Dazu gehören insbesondere das Dashboard, die Einrichtung von Profilen, das Befüllen von Vector-Stores sowie die Benutzerverwaltung.

Aufgabenprofile vorbereiten

Ein Aufgabenprofil enthält einen vordefinierten Prompt für eine wiederkehrende Aufgabe. Beispiele sind „E-Mail schreiben“, „Produktbeschreibung erstellen“ oder „Text zusammenfassen“.

Aufgabenprofile können über das Drei-Punkte-Menü im Chat verwaltet werden. Nach der Einrichtung stehen sie im Eingabebereich zur Auswahl. Dadurch müssen gleichbleibende Anweisungen nicht bei jeder Anfrage erneut formuliert werden.

Vector-Store einrichten

Ein Vector-Store ist eine Wissensdatenbank für Dokumente und andere Textinhalte. Bei einer Anfrage sucht der KI-Proxy darin nach inhaltlich passenden Abschnitten und stellt diese dem ausgewählten Konversationsmodell als zusätzlichen Kontext bereit.

Bevor ein Vector-Store angelegt werden kann, muss ein Embedding-Profil eingerichtet sein. Beim Anlegen werden folgende Angaben festgelegt:

1. Embedding-Profil: das Modell, mit dem die Inhalte und später auch die Suchanfragen in Vektoren umgewandelt werden
2. Name: eine eindeutige Bezeichnung, zum Beispiel „Support-Dokumentation“, „Verträge“ oder „Interne Dokumente“
3. Beschreibung: der Zweck und die vorgesehenen Inhalte des Vector-Stores

Es stehen zwei Varianten zur Verfügung:

Variante	Einrichtung und Datenhaltung
OpenAI Cloud	Erfordert eine zusätzliche Anbindung an OpenAI. Speicherung und Verwaltung erfolgen über den angebundenen Cloud-Dienst.
Lokale PostgreSQL-Datenbank	Erfordert eine installierte PostgreSQL-Datenbank mit der benötigten Vektorerweiterung. Inhalte und Vektordaten werden in der selbst betriebenen Datenbank gespeichert. Es können mehrere, voneinander getrennte Datenbanken beziehungsweise Vector-Stores eingerichtet werden.

Inhalte hinzufügen

Öffnen Sie unter Profil → Einstellungen → Vector-Stores den gewünschten Vector-Store. Abhängig von der Konfiguration können Inhalte auf mehreren Wegen bereitgestellt werden:

• einzelne Dateien hochladen, beispielsweise PDF- oder Textdateien,
• Textinhalte als Markdown-Datei (.md) hinzufügen,
• einzelne KI-Antworten direkt aus dem Chat als Markdown-Dateien (.md) in einen Vector-Store übernehmen,
• einen Ordnerpfad für manuell gestartete Importdurchläufe angeben.

Beim Ordnerimport wird der angegebene Pfad nicht automatisch auf neue Dateien überwacht. Um den Ordner zu prüfen und einen Importdurchlauf zu starten, muss die Polling-Funktion manuell aktiviert werden. Der KI-Proxy sucht anschließend nach neuen Dateien und verarbeitet diese.

Erfolgreich verarbeitete Dateien können anschließend entsprechend der Importkonfiguration in einen Unterordner wie „Done“ verschoben werden. Schlägt die Verarbeitung fehl, verbleibt die Datei zur Fehlerkontrolle im festgelegten Ausgangs- oder Fehlerbereich. Das genaue Verhalten richtet sich nach der eingerichteten Importkonfiguration.

Was beim Import geschieht

1. Der KI-Proxy liest den Textinhalt der Datei aus.
2. Der Inhalt wird in kleinere, sinnvoll verarbeitbare Textabschnitte, sogenannte Chunks, aufgeteilt.
3. Das ausgewählte Embedding-Modell wandelt jeden Abschnitt in eine numerische Darstellung, einen Vektor, um.
4. Textabschnitte, Vektoren und zugehörige Metadaten werden im Vector-Store gespeichert.
5. Bei einer späteren Frage ermittelt das System die inhaltlich ähnlichsten Abschnitte und übergibt sie als Kontext an das Konversationsmodell.

Verbindung mit der Warenwirtschaft vorbereiten

Damit integrierte KI-Funktionen verwendet werden können, muss die Warenwirtschaft mit dem KI-Proxy verbunden und die jeweilige Funktion eingerichtet sein. Abhängig vom Anwendungsfall werden dabei unter anderem folgende Bestandteile festgelegt:

• das zu verwendende KI-Modell,
• die im Promptfenster hinterlegte Aufgabenbeschreibung,
• benötigte Datenbankfelder,
• SQL-Skripte zur Ermittlung zusätzlicher Daten,
• IIF-Bedingungen zur bedingten Zusammenstellung von Inhalten,
• optional ein Vector-Store.

Die Anwendung im Browser

Einen neuen Chat starten

Klicken Sie in der linken Seitenleiste auf Neuer Chat. Im Eingabebereich können Sie anschließend Ihre Nachricht verfassen und die gewünschten Optionen für die Anfrage auswählen.

KI-Modell auswählen

Über die Modellauswahl unterhalb des Eingabefeldes wählen Sie aus, welches KI-Modell die Anfrage bearbeiten soll. Abhängig von der Konfiguration können Modelle verschiedener Anbieter zur Verfügung stehen.

Die angezeigten Modelle müssen zuvor unter Profil → Einstellungen → Profile eingerichtet worden sein.

Dateien in den Chat hinzufügen

Dateien und Inhalte können auf mehreren Wegen in den Chat eingefügt werden:

• über Hinzufügen eine Datei auswählen,
• eine Datei per Drag-and-drop in den Chat ziehen,
• Inhalte direkt per Kopieren und Einfügen übernehmen,
• über die Schaltfläche für die Zwischenablage deren aktuellen Inhalt in den Chat einfügen.

Die bereitgestellten Inhalte werden zusammen mit der Nachricht an das ausgewählte Modell übermittelt und können bei der Antwort berücksichtigt werden.

Aufgabenprofil verwenden

Wählen Sie im Eingabebereich ein vorhandenes Aufgabenprofil aus. Das Profil ergänzt die Nachricht um die zuvor festgelegte Arbeitsanweisung. Sie müssen dann nur noch die Informationen angeben, die sich bei der jeweiligen Aufgabe ändern.

Sprachmemo aufnehmen

Über das Mikrofonsymbol können Sie eine Sprachmemo aufnehmen. Die Aufnahme wird transkribiert und als Grundlage für die Anfrage verwendet.

Das Transkriptionsmodell wird oberhalb des Chats ausgewählt. Je nach Konfiguration können beispielsweise Modelle von OpenAI oder Google verwendet werden.

Chatverlauf verwenden

Mit dem Schalter Chatverlauf legen Sie fest, ob vorherige Nachrichten bei einer neuen Anfrage berücksichtigt werden.

• Chatverlauf aktiviert: Die KI bezieht den bisherigen Gesprächsverlauf ein. Dies eignet sich für Rückfragen und zusammenhängende Ausarbeitungen.
• Chatverlauf deaktiviert: Jede Anfrage wird unabhängig von den vorherigen Nachrichten verarbeitet.

Ein deaktivierter Chatverlauf ist beispielsweise für einen E-Mail-Chat sinnvoll, in dem nacheinander voneinander unabhängige E-Mails erstellt werden. So beeinflusst der Inhalt einer vorherigen E-Mail nicht die nächste Anfrage.

Vector-Store auswählen

Oberhalb des Chats wählen Sie einen eingerichteten Vector-Store oder Kein Vector-Store aus. Mit einem ausgewählten Vector-Store kann die KI gezielt nach passenden Inhalten in der hinterlegten Wissensdatenbank suchen.

Einen guten Prompt schreiben

Ein Prompt ist die Arbeitsanweisung, die an das KI-Modell gesendet wird. Je eindeutiger die Aufgabe und das gewünschte Ergebnis beschrieben werden, desto gezielter kann die KI antworten.

Ein guter Prompt enthält möglichst folgende Angaben:

1. Aufgabe: Was soll die KI tun?
2. Kontext: Welche Informationen sind für die Bearbeitung wichtig?
3. Anforderungen: Welche Regeln, Schwerpunkte oder Einschränkungen gelten?
4. Ausgabeformat: Wie soll das Ergebnis aufgebaut sein?
5. Zielgruppe und Ton: Für wen ist der Text bestimmt und wie soll er formuliert sein?

Beispiel:

Erstelle aus den folgenden Artikeldaten eine Produktbeschreibung für einen Onlineshop. Schreibe sachlich und verständlich, vermeide nicht belegte Werbeversprechen und gliedere das Ergebnis in eine kurze Einleitung, fünf Vorteile und technische Daten. Zielgruppe sind gewerbliche Kunden.

Ergänzen Sie anschließend die benötigten Produktdaten oder hängen Sie eine passende Datei an.

Antworten verschiedener Modelle vergleichen

Dieselbe Frage kann nacheinander an unterschiedliche Modelle gesendet werden. So lässt sich beurteilen, welches Modell für eine bestimmte Aufgabe das passendste Ergebnis liefert.

Das ist unter anderem sinnvoll bei:

• Produkttexten und anderen Formulierungsaufgaben,
• Berechnungen und Bewertungen von Artikelkennzahlen,
• Bestellrhythmen oder Umsatzdaten,
• betrieblichen Auswertungen.

Da Modelle unterschiedlich arbeiten, können Aufbau, Genauigkeit und Ergebnis voneinander abweichen.

Aktionen an eigenen Nachrichten

An einer bereits gesendeten Nachricht stehen weitere Funktionen zur Verfügung:

• Erneut anfragen: Über das linke Aktionssymbol kann dieselbe Nachricht erneut an ein auswählbares Modell gesendet werden.
• Kopieren: Die Nachricht wird in die Zwischenablage übernommen.

Aktionen an KI-Antworten

Für eine Antwort der KI stehen mehrere Aktionen zur Verfügung:

• Verbrauch und Kosten anzeigen: Über das Dollar-Symbol können Tokenverbrauch und Kosten der Anfrage eingesehen werden.
• Antwort kopieren: Der Inhalt wird in die Zwischenablage übernommen.
• In einen Vector-Store übernehmen: Über das Plus-Symbol kann eine hilfreiche Antwort in einen ausgewählten Vector-Store hochgeladen werden.
• Ein- oder ausklappen: Längere Antworten lassen sich zur besseren Übersicht ein- und ausklappen.

KI-Funktionen in der Warenwirtschaft

An verschiedenen Stellen der Warenwirtschaft befindet sich eine KI-Schaltfläche. Über diese Schaltfläche wird die für den jeweiligen Arbeitsbereich vorgesehene KI-Funktion geöffnet.

Zu den möglichen Funktionen gehören:

• Produkttexte für Artikel erstellen,
• E-Mails für Kunden generieren,
• Sollbestände berechnen,
• Bestellvorschlagsmengen ermitteln,
• Informationen im Rechnungseingangsbuch prüfen.

Die KI-Funktionen werden von uns bereitgestellt und stehen allen Kunden zur Verfügung.

Daten für eine Anfrage zusammenstellen

Eine integrierte KI-Funktion kann Informationen aus der Datenbank der Warenwirtschaft in die Anfrage übernehmen. Dafür stehen – abhängig vom jeweiligen Dialog – verschiedene Möglichkeiten zur Verfügung:

• Datenbankfelder: Einzelne Werte aus dem aktuellen Datensatz werden in die Anfrage eingefügt.
• SQL-Skripte: Zusätzliche Informationen werden gezielt aus der Datenbank ausgelesen.
• IIF-Bedingungen: Inhalte werden abhängig von einer Bedingung eingefügt oder unterschiedlich formuliert.
• Vector-Store: Ergänzendes Unternehmenswissen wird für die Bearbeitung bereitgestellt.
• KI-Modell: Das für die Aufgabe geeignete Modell wird ausgewählt.

Diese Bestandteile ergänzen den eigentlichen Prompt. Dadurch erhält das Modell sowohl die Arbeitsanweisung als auch die für den Vorgang benötigten Daten.

Grundsätzlicher Ablauf

1. Öffnen Sie die gewünschte KI-Funktion in der Warenwirtschaft.
2. Beschreiben Sie die Aufgabe im Promptfenster.
3. Fügen Sie bei Bedarf Variablen aus der Datenbank hinzu. Diese werden beim Aufruf mit den Werten des jeweiligen Vorgangs ersetzt.
4. Ergänzen Sie bei Bedarf SQL-Skripte, um weitere Informationen aus der Datenbank abzurufen.
5. Hinterlegen Sie bei Bedarf IIF-Bedingungen, um Inhalte abhängig von festgelegten Bedingungen in den Prompt aufzunehmen.
6. Prüfen Sie das ausgewählte KI-Modell und wählen Sie bei Bedarf einen Vector-Store aus.
7. Öffnen Sie über die entsprechende Schaltfläche die Promptvorschau. Dort sehen Sie den Prompt so, wie er an die KI übergeben wird. SQL-Skripte und Datenbankvariablen sind bereits mit ihren Ergebnissen beziehungsweise Werten aufgelöst. Auch die Auswirkungen der IIF-Bedingungen werden in der Vorschau berücksichtigt.
8. Kontrollieren Sie die Promptvorschau und starten Sie anschließend die Anfrage.
9. Prüfen Sie das Ergebnis, bevor Sie es in der Warenwirtschaft übernehmen oder weiterverwenden.

Einstellungen und Verwaltung

Die Einstellungen öffnen Sie über Profil → Einstellungen. Die verfügbaren Bereiche können von der zugewiesenen Benutzerrolle abhängen.

Dashboard

Das Dashboard zeigt technische Informationen zu den Aufrufen des KI-Proxys, darunter Statuscodes, Aufruffrequenz, Laufzeit, verwendete API, Profilname, HTTP-Ergebnis und Endpunkt. Die Übersicht unterstützt bei der Kontrolle und Fehleranalyse.

Profile

Unter Profile werden Modelle und Zugangsdaten für Konversation, Embedding und Transkription eingerichtet.

Statistiken

Der Bereich Statistiken zeigt, wie der KI-Proxy verwendet wird und welche Kosten dabei entstehen. Die Auswertung kann unter anderem nach folgenden Merkmalen gefiltert werden:

• Anbieter
• Modell
• Prompt-Typ, beispielsweise Artikeltext, Bestellvorschlag oder Eingangsrechnung
• Benutzer
• Zeitraum

Für den Zeitraum steht sowohl eine Schnellauswahl als auch eine manuelle Auswahl über den Kalender zur Verfügung. Die Ergebnisse können als Balkendiagramm nach Usage (Tokens) oder Kosten dargestellt werden. Zusätzlich werden der gesamte Tokenverbrauch und die Gesamtkosten für die aktuelle Filterauswahl angezeigt.

Damit lässt sich nachvollziehen, welche Funktion der Warenwirtschaft, welches Modell oder welcher Benutzer wie viele Tokens verbraucht und welche Kosten dadurch verursacht wurden. Die Auswertung unterstützt damit sowohl die Kostenkontrolle als auch die Auswahl geeigneter Modelle für einzelne Aufgaben.

Vector-Stores

Unter Vector-Stores werden lokale und cloudbasierte Wissensdatenbanken angelegt, befüllt und verwaltet. Über die Auswahl oben rechts wechseln Sie zwischen den verfügbaren Speicherarten. Öffnen Sie einen Eintrag, um Dateien oder Markdown-Texte hochzuladen, einen Importordner einzurichten und den Verarbeitungsstatus der Inhalte zu kontrollieren.

Benutzer

Im Bereich Benutzer werden Benutzerkonten, Chat-Zugriff, Administratorrechte und der Aktivstatus verwaltet. Nur aktive Benutzer erhalten Zugang zum KI-Proxy. Welche Verwaltungsbereiche sichtbar sind, richtet sich nach der zugewiesenen Rolle.

Beispiel: Produkttext mit mehreren Modellen vergleichen

1. Starten Sie über Neuer Chat eine neue Unterhaltung.
2. Wählen Sie ein erstes KI-Modell aus.
3. Wählen Sie bei Bedarf ein Aufgabenprofil für Produktbeschreibungen.
4. Geben Sie die Produktdaten ein oder fügen Sie eine Datei hinzu.
5. Senden Sie die Anfrage.
6. Öffnen Sie an Ihrer Nachricht die Funktion Erneut anfragen.
7. Wählen Sie ein anderes KI-Modell.
8. Vergleichen Sie die Antworten hinsichtlich Inhalt, Formulierung und Genauigkeit.
9. Kopieren Sie die bevorzugte Antwort oder übernehmen Sie diese bei Bedarf in einen Vector-Store.