Entwicklung eines Bewertungsmodells für Dialogsysteme in hybriden Intelligenzsystemen: Am Beispiel von Chatbots zur Problemlösung in der Instandhaltung

Die zunehmende Integration von künstlicher Intelligenz (KI) in industrielle Systeme hat zu neuen Ansätzen für die Zusammenarbeit zwischen Mensch und Maschine geführt, insbesondere in Bereichen, die Spezialwissen und komplizierte Entscheidungsprozesse erfordern (Zhang et al., 2021; Weng et al., 2020). Ein solcher Bereich ist die technische Instandhaltung, in der hybride Intelligenz (HI) - die Kombination aus menschlicher und künstlicher Intelligenz - das Potenzial hat, die Effizienz und die Problemlösungskapazität erheblich zu steigern (Dellermann et al., 2019). Trotz der wachsenden Relevanz von Konversationsagenten in solchen Kontexten gibt es kaum strukturierte Methoden zur Bewertung ihrer Eignung für HI-Systeme. Diese Arbeit nutzt die Design Science Research Methodology (Peffers et al., 2007), um ein multikriterielles Entscheidungsfindungsinstrument zu entwickeln, das bei der Bewertung und Auswahl von Chatbots für Problemlösungen in der Instandhaltung hilft. Zunächst legt diese Arbeit eine konzeptionelle Grundlage für hybride Intelligenz, indem sie Perspektiven aus Informatik, Psychologie und Mensch-KI-Interaktion integriert (Akata et al., 2020; Dellermann et al., 2019; Weng et al., 2020). Anschließend werden spezifische Anforderungen an konversationelle Agenten in HI-Umgebungen identifiziert, die aus einer umfangreichen Literaturrecherche abgeleitet und durch Experteninterviews validiert wurden. Zu den wichtigsten Kriterien gehören Erklärbarkeit, Kontextbewusstsein, Lernfähigkeit und kollaboratives Interaktionsdesign (Schuetz et al., 2022; Wu et al., 2022). Auf der Grundlage dieser Erkenntnisse wird das HI-ASSS-Modell (Hybrid Intelligence Assessment and Selection Support System) unter Verwendung des Analytic Hierarchy Process (Saaty, 1980) entwickelt. Das Modell ermöglicht eine systematische Bewertung von Chatbot-Systemen anhand mehrerer qualitativer und quantitativer Kriterien. In einer Fallstudie wird der auf ChatGPT-4 basierende Chatbot Maintenance Mate mit dem BERT-basierten Modell Rasa verglichen. Die Ergebnisse zeigen, dass Rasa eine bessere Domänenanpassung, Sicherheit und kontextuelle Integration bietet, während Maintenance Mate eine bessere natürliche Sprachverarbeitung und Argumentationsfähigkeit aufweist. Diese Ergebnisse zeigen den Nutzen des Modells für die strukturierte Technologiebewertung in hybriden Intelligenzkontexten. Die Arbeit trägt dazu bei, die Lücke zwischen theoretischen Konzepten und angewandter Entscheidungsfindung zu schließen, indem sie ein replizierbares und anpassbares Bewertungsmodell anbietet. Dieser Rahmen erleichtert transparente Technologieauswahlprozesse in der Instandhaltung und anderen Bereichen, die durch die Zusammenarbeit von Mensch und KI gekennzeichnet sind. Obwohl Einschränkungen wie eine eingeschränkte Expertenstichprobe und eine simulierte Bewertungsumgebung eingeräumt werden, bietet die Arbeit eine solide Grundlage für weitere empirische Validierung und Modellverbesserung. Zukünftige Forschungsarbeiten sollten sich auf die Anwendung von HI-ASSS in realen industriellen Umgebungen, die Integration mit bestehenden IT-Systemen (z.B. CMMS, ERP) und die Ausweitung auf andere Bereiche wie Qualitätssicherung oder Wissensmanagement konzentrieren.