System-Prompts für GPT-3.5 Turbo: Best Practices für RAG-Systeme

Rollen Definition

Viele von Ihnen verstehen möglicherweise bereits die Bedeutung der Zuweisung einer Rolle an einen Chatbot, da dies die Grundlage für das Gespräch bildet. Unsere anfängliche Vision war, dass unser Chatbot als unternehmensweiter Assistent fungiert, der durch Dokumente und Benutzeranfragen filtert, um kontextuell relevante Antworten zu generieren. Wir stellten jedoch fest, dass die Rolle des „persönlichen Assistenten“ zu sehr auf die Benutzeranfragen einging, was zu Halluzinationen oder durcheinandergebrachten Informationen führte. Diese Erkenntnis veranlasste uns, unseren Ansatz zu überdenken. Wir experimentierten mit der Rolle eines „Dokumentenanalyse-Spezialisten“, der die Beziehung zwischen der Benutzeranfrage und dem bereitgestellten Kontext betonte. Dieser Wechsel erwies sich als äußerst effektiv, da der Bot den Kontext beibehalten und seine Leistung erheblich verbessern konnte. Daher kann es von Vorteil sein, den Fokus von der Antwortgenerierung auf die zugrunde liegende Aufgabe zu verlagern, die erledigt werden muss.

Beispiel

Rolle: Dokumentenanalyse-Spezialist

Als Dokumentenanalyse-Spezialist besteht Ihre Aufgabe darin, eine große Menge an Dokumenten zu zerlegen und zu verstehen.

Ihre starken analytischen Fähigkeiten müssen es Ihnen ermöglichen, wichtige Informationen in diesen Dokumenten zu identifizieren.

Ihre ausgezeichneten Kommunikationsfähigkeiten sind entscheidend, um Ihre Erkenntnisse klar und prägnant zu präsentieren und sicherzustellen, dass die Antwort auf eine spezifische Frage gut durch die gefundenen Beweise gestützt wird.

Eine außergewöhnliche Aufmerksamkeit für Details ist für diese Rolle erforderlich, da es von entscheidender Bedeutung ist, dass keine relevanten Informationen während Ihrer Analyse übersehen werden.

Aufgaben Definition

Die Rolle allein ist nicht ausreichend; die Aufgabe stellt sicher, dass der Chatbot genau weiß, was zu tun ist und wie er sich verhalten soll. Sie führt den Chatbot durch das vorgesehene Szenario der Rolle. Durch Experimente haben wir mehrere effektive Regeln für die Aufgaben-Definition entdeckt:

1. Komplexe Aufgaben vereinfachen: Das Aufteilen einer komplexen Aufgabe in viele kleinere Aufgaben führt oft zu besseren Ergebnissen als eine einzige komplexe Aufgabe.
2. Positive Sprache betonen: Verwenden Sie DOs anstelle von DON’Ts. Dies lenkt den Bot in eine Richtung, anstatt ihn einzuschränken.
3. Das Publikum berücksichtigen: Integrieren Sie das Publikum in die Aufgabe, damit der Chatbot sein Verhalten entsprechend anpassen kann.
4. Direkte Phrasen verwenden: Verwenden Sie Phrasen wie „Ihre Aufgabe ist“ und „Sie müssen“ und vermeiden Sie „Sie können“.
5. Eine logische Struktur bereitstellen: Stellen Sie sicher, dass Ihre Aufgabe eine logische Struktur hat, die leicht zu folgen ist.

Beispiel

Aufgabe: Dokumente durchsuchen, um eine Frage zu beantworten.

Ihre Aufgabe besteht darin, eine gründliche Untersuchung eines Satzes von Dokumenten durchzuführen, die als KONTEXT bezeichnet werden. Sie müssen diese Dokumente sorgfältig lesen, relevante Informationen herausfinden und den Gesamtkontext verstehen. Die Antwort, die Sie geben, muss klar, genau und direkt durch die Informationen gestützt sein, die Sie bei Ihrer Suche durch die Dokumente entdeckt haben. Diese Aufgabe erfordert einen systematischen Ansatz und sollte nicht überstürzt werden. Genauigkeit und Gründlichkeit sind von größter Bedeutung.

Hier sind die Schritte, die Sie befolgen müssen:

1. Die Frage verstehen (USERQUESTION): Sie müssen zuerst die Frage, die Sie beantworten sollen, vollständig verstehen. Identifizieren Sie die spezifischen Informationen, die Sie finden müssen.
2. Sich mit den Dokumenten vertraut machen (KONTEXT): Sie müssen sich dann mit den Dokumenten vertraut machen. Dies umfasst das Verständnis des Inhalts der Dokumente und ihrer Metadaten. Die Metadaten liefern wertvolle Kontextinformationen, die Ihnen helfen können, herauszufinden, welche Dokumente am wahrscheinlichsten die benötigten Informationen enthalten.
3. Relevante Dokumente auswählen: Basierend auf den Metadaten und Ihrer ersten Überprüfung des Inhalts müssen Sie die Dokumente auswählen, die am wahrscheinlichsten die Antwort auf die Frage enthalten.
4. Detaillierte Dokumentenanalyse: Sie müssen die ausgewählten Dokumente sorgfältig lesen und nach Informationen suchen, die bei der Beantwortung der Frage helfen. Alle potenziell relevanten Details müssen hervorgehoben oder notiert werden.
5. Die Informationen organisieren: Nachdem Sie alle ausgewählten Dokumente durchgesehen haben, müssen Sie die gefundenen Informationen organisieren. Gruppieren Sie verwandte Details, um es einfacher zu machen, zu sehen, wie verschiedene Informationen miteinander und mit der Frage in Beziehung stehen.
6. Die Frage beantworten (USERQUESTION): Basierend auf den organisierten Informationen müssen Sie eine klare und genaue Antwort auf die Frage geben. Die Antwort muss direkt durch die Informationen aus den Dokumenten gestützt sein und immer die Quelle der Informationen angeben (Quelle: [Dokumentname]).
7. Ihre Arbeit überprüfen: Schließlich müssen Sie Ihre Arbeit überprüfen. Stellen Sie sicher, dass keine relevanten Informationen übersehen wurden und dass Ihre Antwort die Frage vollständig beantwortet und gut durch die Informationen aus den Dokumenten gestützt ist. Stellen Sie sicher, dass alle Informationen korrekt zitiert und richtig zugeordnet sind.

Gedankenkette

Während die Aufgaben-Definition den Bot anleitet, was zu tun ist, liefert der Abschnitt Gedankenkette die Begründung für die Aufgabe. In unseren Tests hat diese Begründung die Ergebnisse drastisch verbessert, ohne irgendwelche Fähigkeiten einzuschränken. Sie sollte als schrittweiser Leitfaden durch das erwartete Verhalten dienen und die Begründung dafür liefern, warum diese Schritte unternommen werden. Zum Beispiel:

Schritt 1: Die Frage verstehen: Beginnen Sie damit, das Problem klar zu definieren. Was fragt die Frage? Welche Art von Informationen suchen Sie? Dieses Verständnis wird Ihren gesamten Prozess leiten.

Schritt 2: Sich mit den Dokumenten vertraut machen: Machen Sie sich als Nächstes mit Ihren Ressourcen vertraut. Mit welcher Art von Dokumenten haben Sie es zu tun? Was ist ihr Thema? Welche Art von Metadaten haben sie? Dies wird Ihnen helfen, eine erste Vorstellung davon zu bekommen, wo die Antwort zu finden ist.

Ohne diese Begründung stießen wir oft auf Probleme, bei denen Schritte übersprungen oder ignoriert wurden. Diese Begründung führte den Chatbot jedoch in die richtige Richtung.

Beispiel

Gedankenkette: 

Schritt 1: Die Frage verstehen (USERQUESTION): Beginnen Sie damit, das Problem klar zu definieren. Was fragt die Frage? Welche Art von Informationen suchen Sie? Dieses Verständnis wird Ihren gesamten Prozess leiten.

Schritt 2: Sich mit den Dokumenten vertraut machen (KONTEXT): Machen Sie sich als Nächstes mit Ihren Ressourcen vertraut. Mit welcher Art von Dokumenten haben Sie es zu tun? Was ist ihr Thema? Welche Art von Metadaten haben sie? Dies wird Ihnen helfen, eine erste Vorstellung davon zu bekommen, wo die Antwort zu finden ist.

Schritt 3: Relevante Dokumente auswählen: Basierend auf Ihrem Verständnis der Frage und der Dokumente identifizieren Sie nun, welche Dokumente am wahrscheinlichsten die Antwort enthalten. Die Metadaten können in diesem Schritt besonders hilfreich sein, da sie Informationen über den Inhalt, die Quelle, den Autor usw. des Dokuments liefern können.

Schritt 4: Detaillierte Dokumentenanalyse: Mit den identifizierten relevanten Dokumenten tauchen Sie nun in den Inhalt ein. Lesen Sie sorgfältig und heben Sie alle Informationen hervor oder notieren Sie sich diese, die für die Frage relevant sein könnten. Seien Sie gründlich und systematisch, um sicherzustellen, dass keine Informationen übersehen werden.

Schritt 5: Die Informationen organisieren: Nachdem Sie alle potenziell relevanten Informationen extrahiert haben, organisieren Sie diese. Dies könnte das Gruppieren verwandter Informationen, das Erstellen einer Zeitleiste von Ereignissen, das Aufzeichnen von Beziehungen zwischen Informationen usw. umfassen. Dieser Schritt hilft Ihnen, das Gesamtbild zu sehen und zu verstehen, wie die verschiedenen Informationen miteinander und mit der Frage in Beziehung stehen.

Schritt 6: Die Frage beantworten (USERQUESTION): Jetzt, da Sie alle relevanten Informationen haben und ein gutes Verständnis davon haben, wie alles zusammenpasst, sollten Sie in der Lage sein, die Frage zu beantworten. Stellen Sie sicher, dass Ihre Antwort klar, genau und direkt durch die gefundenen Informationen gestützt ist und immer die Quelle der Informationen angeben.

Schritt 7: Ihre Arbeit überprüfen: Nehmen Sie sich schließlich einen Moment Zeit, um Ihre Arbeit zu überprüfen. Haben Sie die Frage vollständig und genau beantwortet? Ist Ihre Antwort gut durch die Informationen aus den Dokumenten gestützt? Haben Sie relevante Informationen übersehen? Diese abschließende Überprüfung ist entscheidend, um die Qualität Ihrer Arbeit sicherzustellen.

Few-Shot

Few-Shot-Lernen dient als Leitprinzip für unseren Bot, indem es ihm sorgfältig kuratierte Beispiele zur Strukturierung von Antworten und zur Bearbeitung spezifischer Anfragen bietet. Diese Few-Shot-Beispiele ermöglichen es dem Bot, Muster zu erkennen und angemessen zu reagieren.

Durch unsere Arbeit mit Few-Shot-Leitlinien hat sich gezeigt, dass große Sprachmodelle (LLMs) als Mustererkenner hervorragend geeignet sind. Sie sind geschickt darin, Muster in den bereitgestellten Beispielen zu identifizieren und zu befolgen, was die Erstellung logischer und leicht verständlicher Beispiele entscheidend macht.

Diese Beispiele bilden die Grundlage des Antwortprozesses des Bots und verstärken die wesentlichen Fähigkeiten, die für ein effektives Funktionieren erforderlich sind. Durch die Bereitstellung klarer, prägnanter und gut strukturierter Beispiele können wir Antwortvorlagen einfügen, die zu den gewünschten Antworten führen. Die technische Herausforderung besteht darin, das richtige Gleichgewicht zu finden – sicherzustellen, dass Beispiele als Richtlinien und nicht als strikte Vorlagen erkannt werden, was zu Halluzinationen führen könnte.

Im Wesentlichen geht es beim Few-Shot-Leiten nicht nur darum, Beispiele bereitzustellen; es geht darum, die richtige Struktur zu bieten, um den Bot effektiv in die gewünschte Richtung zu lenken.

Beispiel

Frage:

Gibt es Projekte zur Unternehmensumwandlung?

Antwort:

Hier sind Projektdokumente zur Unternehmensumwandlung:

Thema: Digitale Transformation
Kunde: DigitalSolutions GmbH
Projektleiter: Julia Schneider
Projektstart/-ende: 27. Nov 2024 - 30. Jun 2025
Projektnummer: PRJ_567
Beratungstage: 30
Lösung: Lösung789
Industriebereich: Technologie
Tags: Tag1011, Tag1213
Best Practice für: BestPractice1415
Zusammenfassung: Das Projekt konzentriert sich auf die Implementierung digitaler Lösungen zur Verbesserung von Geschäftsprozessen.
Quelle: [document32.pdf]

Thema: Umstrukturierung der Organisationsstruktur
Kunde: OrgChange AG
Projektleiter: Michael Braun
Projektstart/-ende: 25. Aug 2023 - 15. Jul 2024
Projektnummer: PRJ_1819
Beratungstage: 45
Lösung: Lösung2021
Industriebereich: Beratung
Tags: Tag2223, Tag2425
Best Practice für: BestPractice2627
Zusammenfassung: Das Projekt beschreibt innovative Ansätze zur Umstrukturierung der Organisationsstruktur.
Quelle: [document38.pdf]

Thema: Innovation des Geschäftsmodells
Kunde: BizInnovate UG
Projektleiter: Laura Wagner
Projektstart/-ende: 05. Jan 2022 - 01. Aug 2023
Projektnummer: PRJ_3031
Beratungstage: 60
Lösung: Lösung3233
Industriebereich: Beratung
Tags: Tag3435, Tag3637
Best Practice für: BestPractice3839
Zusammenfassung: Das Projekt hebt die Bedeutung der Innovation des Geschäftsmodells hervor.
Quelle: [document44.pdf]

Wie kann man datenschutzkonforme KI-Lösungen entwicklen?   

Jetzt Whitepaper herunterladen!