Generative AI - Erfahrungen und Erkenntnisse aus der Praxis

Vergangene Woche wurden am AI Webinar konkrete Use Cases, Erfahrungen und wichtige Erkenntnisse mit Generative AI behandelt. Anhand von Kundenprojekten zeigten wir, wie Serviceprozesse optimiert, interne Daten besser gefunden und intelligent durchsucht sowie repetitive Prozesse effizienter gestaltet werden können. Dabei ging es unter anderem um Prompt Engineering, Fine-Tuning, Responsible AI sowie Security-Aspekte beim Einsatz von Künstlicher Intelligenz. 

Das Webinar richtete sich an alle, die ihr Unternehmen mit innovativen, aber praktisch umsetzbaren neuen Tools und Technologien auf die nächste Stufe bringen möchten. Der Fokus vom Webinar lag nicht auf den technischen Details, wie es gelöst wird. Es geht um Anwendungen und Möglichkeiten.

Aufzeichnung

Für alle, die nicht live dabei sein konnten, haben wir das Webinar aufgezeichnet:

Takeaways (AI-generiert)

Im Vorfeld wurden folgende Takeaways definiert:

• Wie kann ich generative AI (ChatGPT & Co) mit internen Daten verknüpfen?
• Welche Anwendungen werden dadurch besser und einfacher?
• Wo sind die Grenzen? Was funktioniert gut? Was (noch) nicht?
• Was kostet so etwas und wie lange dauert es, bis man erste Resultate sieht?
• Was geschieht mit meinen Daten? Wie gehe ich verantwortungsvoll mit Generativer AI um?

Diese Takeaways hat uns unser AI-Chatbot gleich selbst beantwortet. Das bedeutet, wir haben das Transkript der Aufzeichnung in mfGPT hochgeladen und anschliessend nach den Takeaways befragt.

Folgendes ist dabei herausgekommen:

Wie kann ich generative AI (ChatGPT & Co) mit internen Daten verknüpfen?

Sie können generative AI wie ChatGPT mit internen Daten verknüpfen, indem Sie das Modell mit Ihren eigenen Daten trainieren. In dem vorgestellten Beispiel wurde das Modell mit dem Qualitätsmanagementsystem des Unternehmens trainiert. Dadurch kann der AI-Bot auf interne Daten zugreifen und spezifische Abfragen beantworten.

Ein weiterer Ansatz ist die Verwendung von Function Calling. Dadurch können Sie während der Abfrage andere interne Systeme abfragen, um aktuelle Informationen zu erhalten. Zum Beispiel könnten Sie Kundendaten aus dem ERP- oder CRM-System abrufen, den Bestellstatus einbinden oder Daten von Azure IoT Hub abfragen.

Durch die Verknüpfung von generativer AI mit internen Daten können Sie Ihren AI-Bot personalisieren und spezifische Informationen liefern, die auf Ihre Unternehmensprozesse und -daten zugeschnitten sind.

Welche Anwendungen werden dadurch besser und einfacher?

Durch den Einsatz von generativer AI und internen Daten können verschiedene Anwendungen verbessert und vereinfacht werden. Einige Beispiele dafür sind:

1. Enterprise Chat GPT: Durch den Einsatz von generativer AI können Chatbots entwickelt werden, die Kundenanfragen im Webshop oder im Kundenservice effizient beantworten können.

2. Knowledge Base: Generative AI kann verwendet werden, um eine Wissensdatenbank aufzubauen, in der Servicetechniker vor Ort Informationen abrufen können, um ihre Arbeit zu unterstützen.

3. Call Center inklusive Analytics: Durch den Einsatz von generativer AI können Call Center-Prozesse verbessert und analysiert werden, um die Kundenerfahrung zu optimieren.

4. Content Generation: Generative AI kann verwendet werden, um Inhalte wie Texte und Bilder zu generieren, was besonders im Marketingbereich nützlich sein kann.

5. Automatisierung von Finanzprozessen: Generative AI kann in der Finanzierung eingesetzt werden, um bestimmte Aufgaben zu automatisieren und zu vereinfachen.

6. Supply Chain: Durch den Einsatz von generativer AI können Prozesse in der Lieferkette optimiert und automatisiert werden.

7. Operations und CTO: Generative AI kann in verschiedenen Bereichen der Unternehmensführung eingesetzt werden, um Prozesse zu verbessern und zu automatisieren.

8. Customer Support: Generative AI kann im Kundensupport eingesetzt werden, um Kundenanfragen effizient zu bearbeiten und zu beantworten.

9. Sales: Generative AI kann im Vertrieb eingesetzt werden, um Verkaufsprozesse zu unterstützen und Daten zu analysieren.

Diese sind nur einige Beispiele, wie generative AI in verschiedenen Bereichen eines Unternehmens eingesetzt werden kann, um Prozesse zu verbessern und zu vereinfachen.

Weitere Beispiele: Testautomatisierung, bei der Skripte erstellt werden, um Webseiten zu testen. Durch AI-Tools können diese Skripte automatisiert und optimiert werden, was zu einer effizienteren Testdurchführung führt. Auch die Suche nach Informationen und Dokumenten kann durch AI-Tools erleichtert werden, indem relevante Daten schnell abgerufen und Zusammenfassungen erstellt werden können. Es gibt jedoch auch Herausforderungen und Bedenken, insbesondere für junge und unerfahrene Entwickler, die möglicherweise Schwierigkeiten haben, mit den neuen Technologien Schritt zu halten.

Wo sind die Grenzen? Was funktioniert gut? Was (noch) nicht?

Die Verknüpfung von generativer AI mit internen Daten hat sowohl Grenzen als auch Funktionen, die gut funktionieren.

Eine Grenze besteht darin, dass Language Models (LLMs) Fehler machen können und halluzinieren können. Das bedeutet, dass sie möglicherweise falsche oder irreführende Informationen generieren können. Dies kann problematisch sein, wenn es um rechtlich bindende Aussagen geht. Es ist wichtig zu beachten, dass LLMs Antworten geben können, aber es ist ratsam, diese Antworten mit entsprechenden Quellen und Links zu versehen, damit Benutzer die Informationen überprüfen können.

Ein weiterer Aspekt ist, dass Generative AI nicht die Lösung für alle Probleme ist. Es ist wichtig, sorgfältig zu überlegen, welche Use Cases mit Generative AI gelöst oder vereinfacht werden können und welche nicht. Es gibt bestimmte Funktionen, bei denen die Verknüpfung von generativer AI mit internen Daten gut funktioniert. Zum Beispiel können interne Daten während eines Chats verwendet werden, ohne dass sie öffentlich gemacht werden. Dies ermöglicht es, auf spezifische Informationen zuzugreifen und diese in den Chat einzubinden, um Fragen zu beantworten. Es ist auch möglich, verschiedene interne und externe Datenquellen zu verknüpfen, um umfassendere Antworten zu generieren.

Es ist jedoch wichtig, die Kontrolle über die internen Daten zu behalten und sicherzustellen, dass sie nicht Teil des öffentlichen Sprachmodells werden. Dies kann durch die Verwendung einer Vektordatenbank erreicht werden, in der die Daten in Embeddings umgewandelt und gespeichert werden. Dadurch bleibt die Datenbank unter eigener Kontrolle und der Zugriff bleibt beschränkt.

Insgesamt ist es wichtig, die Grenzen und Möglichkeiten der Verknüpfung von generativer AI mit internen Daten zu verstehen und entsprechende Maßnahmen zu ergreifen, um die Qualität und Sicherheit der generierten Informationen zu gewährleisten.

Was kostet so etwas und wie lange dauert es, bis man erste Resultate sieht?

Die Kosten für den produktiven Einsatz des Chat-CPT sind relativ gering. Für ca. 80.000 Tokens im Jahr betragen die Kosten nur 50 Dollar. Es wird kein zusätzliches Training oder spezielle Daten benötigt.

In Bezug auf die Dauer bis zum Erhalt erster Ergebnisse hängt es von verschiedenen Faktoren ab. Für den Spesenprozess wurde festgestellt, dass die interne Datenabfrage schneller ist als die Suche im Q-System. Beim Hochladen von Dokumenten dauert die Analyse derzeit etwa eine Minute für ein 30-seitiges PDF. Es gibt jedoch noch Schwächen bei der Analyse des gesamten Dokuments oder der Extraktion von wichtigen Informationen von jeder Seite. Es wurden jedoch Ideen zur Verbesserung vorgeschlagen, die noch umgesetzt werden müssen.

Es ist wichtig zu beachten, dass diese Informationen spezifisch für den in der gegebenen Kontextbeschreibung erwähnten Use Case sind. Die Kosten und die Dauer bis zum Erhalt erster Ergebnisse können je nach Anwendungsfall variieren.

Was geschieht mit meinen Daten? Wie gehe ich verantwortungsvoll mit Generativer AI um?

Es gibt mehrere Möglichkeiten, verantwortungsvoll mit generativer AI umzugehen und den Schutz Ihrer Daten zu gewährleisten:

1. Sichere Hosting-Umgebung: Stellen Sie sicher, dass die Hosting-Umgebung, in der die generative AI betrieben wird, sicher ist. Wenn Sie beispielsweise OpenAI nutzen, sollten Sie prüfen, ob deren Hosting-Optionen Ihren Anforderungen an Datenschutz und Datensouveränität entsprechen.

2. Datenverschlüsselung: Achten Sie darauf, dass Ihre Daten sowohl während der Übertragung als auch bei der Speicherung verschlüsselt sind. Dies hilft, den Zugriff unbefugter Personen auf Ihre Daten zu verhindern.

3. Authentifizierung und Autorisierung: Implementieren Sie Mechanismen zur Authentifizierung und Autorisierung, um sicherzustellen, dass nur autorisierte Personen auf Ihre Daten zugreifen können.

4. Datenschutzbestimmungen: Lesen Sie die Datenschutzbestimmungen und Verträge sorgfältig durch, um sicherzustellen, dass sie Ihren Anforderungen an Datenschutz und Datensouveränität entsprechen. Überprüfen Sie, ob die Dienstleister DSGVO-konforme Datenverarbeitungsvereinbarungen anbieten.

5. Datenplattform und Knowledge Management: Sammeln und konsolidieren Sie Ihr Wissen und Ihre Informationen systematisch in einer Datenplattform. Nutzen Sie generative AI Use Cases wie Knowledge Management oder eine Knowledge Base, um Servicetechnikern den Zugriff auf das Wissen zu ermöglichen und den Mangel an Mitarbeitern auszugleichen.

Es ist wichtig zu beachten, dass die Verantwortung für den Schutz Ihrer Daten sowohl bei Ihnen als auch beim Dienstleister liegt. Lesen Sie die entsprechenden Verträge und Datenschutzbestimmungen sorgfältig durch und stellen Sie sicher, dass Ihre Anforderungen erfüllt werden.

Referenten

Folgende Referenten haben am Webinar ihre Erfahrungen geteilt:

Rainer Stropek ist seit über 25 Jahren als Unternehmer in der IT-Industrie tätig. Er gründete und führte in dieser Zeit mehrere IT-Dienstleistungsunternehmen und entwickelt neben seiner Tätigkeit als Trainer und Berater in seiner Firma software architects mit seinem Team die preisgekrönte Software time cockpit.

Gerhard Hager und seine Kollegen der Abteilung Business Process Automation befassen sich bei Doka Schalungsbau mit dem Optimieren und Automatisieren von Prozessen. Dabei setzt er State-of-the-Art Technologien im Bereich AI/Machine Learning ein, um End-to-End Data Science Projekte umzusetzen. Seine langjährigen Erfahrungen im Software Engineering Bereich sind hilfreich, um komplexe Lösungen praxistauglich zu machen. 

Adrian Cervellieri ist ein Technology Strategist und Generative AI Chapter Lead für Manufacturing bei Microsoft Switzerland. Er hat eine Ausbildung als Systeminformatiker absolviert und sich auf digitale Transformationen in Industrieunternehmen spezialisiert. Vor seiner Zeit bei Microsoft war er als Innovation Advisor und Practice Manager bei Amazon Web Services tätig.

Christian Hecht hat an der Universität Mannheim Wirtschaftsinformatik studiert und beschäftigt sich intensiv mit dem Software-Engineering. Als Business Unit Leiter bei der M&F Engineering AG nutzt er die Möglichkeiten der künstlichen Intelligenz, um die Prozesse des Unternehmens zu optimieren und die von M&F Engineering entwickelte Software mit neuen AI-Funktionen auszustatten.

Reto Bättig hat an der ETH Zürich Elektrotechnik studiert und später einen Executive MBA in General Management an der Universität St. Gallen erworben. Nach verschiedenen Positionen in Entwicklung, Projektmanagement und Business Leadership ist er seit 13 Jahren CEO und Partner der M&F Engineering AG.

Bei Fragen und Unklarheiten stehen wir gerne zur Verfügung. Unser Angebot im Bereich AI & Data finden Sie hier: www.m-f.ch/ai

Vereinbaren Sie jetzt ein Beratungsgespräch mit unserem Team und stellen Sie Ihre KI-Idee, Konzept, Problem oder Anforderung vor. Gerne beraten wir Sie auf dem Weg zur künstlichen Intelligenz. 

PROJEKT-ANFRAGE