Home
News

KI in Aktion: Transformation von Wissensmanagement durch künstliche Intelligenz

geschrieben_von

Swico

, 19. April 2024

categories

Verband

Wie geht Wissensmanagement mit Hilfe von KI? Dieser Frage sind wir am 18. April 2024 an unserem KI in Action Event nachgegangen. Hier finden Sie das Executive Summary zum Anlass.

Die Themen des Anlasses

ChatGPT entzaubert
Wissensmanagement mit KI-Agenten
Strategien zur Transformation von Ideen in KI-gestützte Produkte

Folgend sind die wichtigsten Punkte der drei Referate kurz Zusammengefasst.

ChatGPT entzaubert

Joel Barmettler, Senior AI-Engineer bei bbv Software Services Corp und Universität Zürich,entmystiﬁziert das ChatGPT-Sprachmodell: Wie es funktioniert und auf welche spannenden Entwicklungen wir uns in naher Zukunft freuen dürfen.

Joel Barmettler während seinem Referat über die Funktionsweise von Large Language Models wie ChatGPT — Joel Barmettler während seinem Referat über die Funktionsweise von Large Language Models, wie ChatGPT.

Doch nicht alles ist Gold, wo "KI" draufsteht: Der kürzlich präsentierte "KI-Programmierer" Devin entpuppte sich als Hype: Das Tool braucht sehr lange, um Aufgaben abzuwickeln und löst sie dann nur teilweise.

Machine Learning
Ein Machine Learning Modell schliesst aus einem Input auf einen Output. Basierend aufbestehenden Daten trainiert man das System, hinter den Daten mathematische Gesetzmässigkeiten zu ﬁnden. Gelingt dies einem Machine Learning Engineer, können Prognosen erstellt werden über künftige Daten. Immer unter der Annahme, dass künftige Datensätze den gleichen mathematischen Gesetzmässigkeiten folgen wie bisher.

Künstliche Intelligenz
Sind Probleme aber mehrdimensional, lassen sie sich nicht mehr über einfache mathematische Formeln abbilden. Hier kommen Deep Neural Networks ins Spiel: Wie Neuronen in unserem Gehirn, werden viele Knoten zu einem Netz verknüpft und aneinandergeschlossen. Die Knotenmelden sich, wenn sie genügend Daten erhalten und geben einen Output aus. Es ist nicht mehr nötig, die jetzt sehr komplexe mathematische Funktion zu berechnen, sondernman delegiert das an das neuronale Netz. Es optimiert seine Gewichte in den Knotenpunkten, bis es eine genügend gute Annäherung an die gesuchte Funktion ﬁndet.

Sprachmodelle
Sprachmodelle (Large Language Models LLM) arbeiten etwas anders: Sie arbeiten nicht nach einer Funktion, sondern berechnen die Wahrscheinlichkeit für das Auftreten des nächsten Wortes basierend auf den vorangehenden Wörtern. Beim Tokenisieren in Sprachmodellen werden Wörter in Komponenten zerlegt (Token) und in Vektoren konvertiert. So kann das Sprachmodell eﬃzient und schnell mit Wörtern arbeiten, denn Vektoren lassen sich mathematisch relativ einfach vergleichen.

Joel zeigte dem Publikum, wie ein Large Language Model den nächsten Token im Satz vorraussagt.

Sprachmodelle werden anhand von Webseiten, Code, Büchern, Untertitel, etc. trainiert. Damit wirmit dem System kommunizieren können, wurden Chatbots entwickelt. Die wiederum werden u.a. mit Daten aus Reddit trainiert, da dort viele Fragen/Antworten Beispiele verfügbar sind. Problematisch daran sind die allenfalls tendenziösen Meinungen und politischen Orientierungender Nutzer (Bias). Diese ﬂiessen also ungewollt in die Antworten der KI ein.

Entsprechend kritisch muss man die Antworten einordnen und LLMs für "sinnvolle" Einsatzgebiete verwenden, die auf seine Arbeitsweise abgestimmt sind, nämlich dem Erraten des nächst wahrscheinlichsten Wortes. Ist man auf der Suche nach Fakten, eignet sich diese Methodenicht!

Wissensmanagement mit KI-Agenten

Marius Högger, AI Engineer bei bbv, über die praktische Umsetzung von Wissensagenten und dieInteraktion zwischen Mensch und Agent. Er erläutert, wie Wissensinjektion durch Experten mit Hilfe von KI-Agenten realisiert wird. Anhand eines Proof of Concept zeigt er die Umsetzung einerkonkreten Problemstellung.

Marius Högger erklärt in seinem Referat, wie man aus KI-Agenten In-House-Experten macht.

Im heutigen Unternehmensumfeld werden neue Mitarbeiter als Knowledge-Worker auf die Wissensdatenbank losgelassen. In diesem “Wissens-Labyrinth” ist aber nicht ersichtlich, wo die wichtigen Informationen stehen. Praktisch wäre ein "Wissens-Bibliothekar", der einem situativ basierend auf natürlicher Spracheimmer dann die relevanten Informationen liefert, wenn man sie braucht.

Die Kontextfenster von Sprachmodellen
Die Herausforderung bei dieser Aufgabe besteht darin, dass Sprachmodelle wie ChatGPT denUnternehmenskontext aus dessen Intranet nicht kennen. Die waren ja nicht im Training-Set der
Schulungsdaten. Deshalb ist beim Prompt-Engineering wichtig, dem LLM den Kontext der Anfrage mitzugeben.

In der Antwort ist zu beachten, dass zwar die Sprachqualität typischerweise sehr hoch ist, die Faktualität ist aber nicht gegeben: Das nächstwahrscheinlichste Wort hat nicht zwingend etwas mit der Realität zu tun.

Qualitätssteigerung durch Retrieval Augmented Generation
Um die Antworten von LLMs zu verbessern, setzt man das Prinzip Retrieval Augmented Generation RAG ein: Das Sprachmodell antwortet basierend auf Firmeninhalten, die ihm zur Verfügung gestellt werden und nicht anhand seiner ursprünglichen Schulungsdaten aus dem Internet. Auf diese Weise wird das Prompting erleichtert, weil der Kontext der Anfrage klar ist. Dadurchliefern Sprachmodelle bessere Antworten.

Wie überwindet man die faktische Unzuverlässigkeit von Sprachmodellen? Marius stellt das RAG-Prinzip vor.

Einsatz von Multi-Agents
Noch einfacher wird es, wenn man Software-Agenten einsetzt: Sie kennen den Kontext und sind zusätzlich instruiert, wie sie sich in ihrer Rolle verhalten und wie sie antworten sollen. Agenten können wie virtuelle Mitarbeiter konﬁguriert werden: Sie unterstützen neue Mitarbeiter dabei, die relevanten Informationen zu ﬁnden und die entsprechenden Experten in der Firma zu kontaktieren.

Agenten können in einer Multi-Agenten Konﬁguration sogar untereinander kommunizieren und Aufgaben lösen. Microsoft bietet für diesen Zweck mit AutoGen ein dediziertes Framework an.

Strategien zur Transformation von Ideen in KI-gestützte Produkte

Dr. Emre Özyurt, bbv Consultant im Bereich KI, über Methoden zur Umsetzung von künstlicher Intelligenz in erfolgreiche Produkte. Erfahrungsbericht über den Designprozess und Erkenntnisse aus diversen Projekten

Dr. Emre Özyurt stellt einen Designprozess vor, der KI von Beginn an integriert und so wesentlich weniger Zeit bis zur Validierung einer Idee benötigt.

Bei der Implementierung von KI-Systemen in der Produktion sind strukturierte Firmendaten nötig. Verfügt eine Firma nur über unstrukturierte Daten, ist der Einsatz von KI noch anspruchsvoller als
bei guten Datenbeständen. Je nach Einsatz und Aufgabengebiet werden mehr oder weniger Agenten konﬁguriert. Sie haben Zugriﬀ auf die Firmendatenbanken und beantworten Fragen auf dieser Basis.

Die Zugriﬀsrechte der Agenten auf die Daten basieren auf den Rechten des anfragenden Mitarbeiters. Können die Agenten eine Anfrage basierend auf den bestehenden Datensätzen nicht
beantworten, kann ein Experte um Rat gefragt werden. Dieser gibt nicht nur seine Antwort, diese wird zusätzlich auch im Expertensystem abgespeichert. So steht das neu dokumentierte Wissen zur Verfügung, wenn das nächste Mal eine ähnliche Anfrage gestellt wird.

Emre geht auch auf darauf ein, wie man neues Expertenwissen in KI-gestützte Prozesse einfliessen lässt.

Insgesamt zeigen die Referate, dass der Einsatz von KI im Wissensmanagement grosses Potenzial bietet, aber auch Herausforderungen wie Kontextverständnis, Datenqualität und Biases adressiert werden müssen. Der Schlüssel liegt darin, KI-Systeme gezielt und unter Berücksichtigung der Unternehmensspezifika einzusetzen. So wird der Wissenstransfer in der Organisation und die Produktivität der Mitarbeiter nachhaltig verbessert.