Hintergrund und Zielsetzung
Eine führende europäische Marketing-Agentur, die sich auf die Entwicklung von Inhalten und Kommunikationsstrategien für Branchen wie Fintech und IT spezialisiert hat, wollte ihre internen Prozesse optimieren. Ziel war es, einen selbst gehosteten KI-Chatbot zu implementieren, der als zentraler Kommunikations- und Automatisierungsassistent innerhalb des privaten Netzwerks agiert. Dabei sollte maximale Datensicherheit gewährleistet sein und gleichzeitig eine kosteneffiziente, leistungsstarke Lösung bereitgestellt werden.
Herausforderung
Der Kunde erkannte frühzeitig das transformative Potenzial von KI, stellte jedoch folgende Anforderungen:
- Datensicherheit: Alle internen Informationen müssen das private Netzwerk des Unternehmens nicht verlassen.
- Kosteneffizienz: Die Lösung sollte im Vergleich zu Cloud-basierten Alternativen (z. B. Azure) deutlich günstiger realisierbar sein.
- Leistungsfähigkeit: Der Chatbot muss in der Lage sein, präzise Antworten in Deutsch und Englisch zu liefern und sich flexibel an branchenspezifischen Jargon sowie interne Richtlinien anzupassen.
Diese Herausforderungen erforderten eine Lösung, die nicht nur modernste KI-Technologien integriert, sondern auch optimal in die bestehende IT-Infrastruktur eingebettet werden konnte.
Lösung in der SupraWorx Umgebung
SupraTix, als erfahrener Partner im Bereich KI-Entwicklung, hat in enger Zusammenarbeit mit dem Kunden eine maßgeschneiderte Lösung realisiert – basierend auf der SupraWorx Plattform. Dabei kamen spezifische SupraWorx Module zum Einsatz, die eine nahtlose Integration und hohe Sicherheit gewährleisteten:
- SupraWorx Security Modul: Gewährleistet den vollständigen Datenschutz, indem alle Daten ausschließlich innerhalb des internen Netzwerks verarbeitet und gespeichert werden.
- SupraWorx AI Integration Modul: Erleichtert die Implementierung des Open-Source-LLM (Mistral) und sorgt für eine reibungslose Kommunikation zwischen Frontend und Backend.
- SupraWorx Performance Modul: Optimiert die Ressourcenverteilung, indem es 70 % der Rechenlast auf GPUs und 30 % auf CPUs verlagert – ein entscheidender Faktor für Kosteneffizienz und hohe Leistungsfähigkeit.
- SupraWorx Analytics Modul: Unterstützt die fortlaufende Überwachung und Optimierung der Chatbot-Leistung, sodass der KI-Assistent kontinuierlich an die internen Geschäftsprozesse angepasst werden kann.
Projektablauf
- Analyse & Planung: Detaillierte Untersuchung der internen Prozesse und Identifikation spezifischer Anforderungen.
- LLM-Installation: Die Installation des Mistral LLM erfolgte zunächst auf einem Azure-Server – ein Ansatz, der sich jedoch als zu kostspielig erwies. Anschließend erfolgte der Umzug auf einen kosteneffizienten supraAgent-Server.
- Architekturentwicklung: Aufbau einer benutzerfreundlichen Oberfläche und eines robusten Backend-Systems, das die Kommunikation mit dem privaten LLM steuert.
- Testphase: Intensive Tests zur Sicherstellung der Antwortgenauigkeit und Relevanz – sowohl in Deutsch als auch in Englisch.
- Implementierung: Innerhalb von 22 Arbeitstagen entstand eine funktionsfähige Demoversion, die im weiteren Verlauf erfolgreich in das Unternehmensnetzwerk integriert wurde.
Ergebnisse und Nutzen
- Schnelle Umsetzung: Innerhalb eines Monats wurde die Demoversion entwickelt, trainiert, implementiert und getestet.
- Maximale Datensicherheit: Durch den Einsatz der SupraWorx Security Module blieben alle Daten innerhalb des internen Netzwerks.
- Kosteneffizienz und hohe Leistung: Die Verlagerung des LLM auf einen Hetzner-Server mit optimaler Ressourcenverteilung reduzierte die Kosten erheblich, ohne Kompromisse bei der Performance einzugehen.
- Flexibilität und Anpassungsfähigkeit: Unternehmen haben volle Kontrolle über die Modellkonfiguration und können den KI-Chatbot an spezifische Branchenanforderungen, internen Sprachgebrauch und Geschäftsprozesse anpassen.
Fazit
Dieser Use Case demonstriert, wie die Integration der SupraWorx Plattform mittels spezialisierter SupraWorx Module es ermöglicht, innovative KI-Lösungen sicher, effizient und flexibel in bestehende Infrastrukturen zu implementieren. Die erfolgreiche Implementierung eines lokalen LLM-basierten Chatbots hat nicht nur die internen Kommunikations- und Automatisierungsprozesse der Marketing-Agentur optimiert, sondern auch gezeigt, wie Unternehmen mit moderner KI-Technologie den nächsten Schritt in Richtung digitaler Transformation gehen können.
