Vorgehensweise

Die Wahlprogramme der Parteien wurden mithilfe verschiedener Large Language Models (LLMs) analysiert. Ziel war es, Textstellen zu identifizieren, die als "Verbote" oder "Einschränkungen" interpretiert werden können.

Definitionen

Die Analyse unterscheidet strikt zwischen zwei Kategorien von Verboten:

1. Explizites Verbot

Eine Aussage gilt als explizites Verbot, wenn sie eindeutig ein Verbot durch ein Verbotswort oder eine juristisch klare Negationsform ausdrückt.
Beispiele: "verboten", "wir verbieten", "ist zu verbieten", "untersagt", "dürfen nicht".

2. Semantisches Verbot

Eine Aussage gilt als semantisches Verbot, wenn sie inhaltlich dasselbe bewirkt wie ein Verbot, ohne ein explizites Verbotswort zu verwenden.
Beispiele: "keine neuen...", "nicht zulässig", "wird verhindert", "soll unterbleiben", "wir lehnen... ab", "Ausstieg aus...".

Konsens-Analyse (Fuzzy Voting)

Um "Halluzinationen" (fälschlich erkannte Verbote) einzelner Modelle zu minimieren, wird eine Konsens-Analyse durchgeführt. Dabei wird geprüft, ob mehrere Modelle dieselbe Stelle im Text als Verbot markieren.

Da die Modelle oft leicht unterschiedliche Textausschnitte zitieren, werden die Fundstellen zunächst mittels "Fuzzy Matching" auf ihre exakte Position im Originaldokument normalisiert. Anschließend wird für jeden Buchstaben im Text gezählt, wie viele Modelle diesen als Teil eines Verbots markiert haben.

Der Konsens-Wert entspricht dem prozentualen Anteil der beteiligten Modelle, die an dieser Stelle übereinstimmen.

• Hoher Konsens (≥ 80%): Mindestens 80% der Modelle haben diese Stelle unabhängig voneinander gefunden.
• Mittlerer Konsens (50% - 79%): Zwischen 50% und 79% der Modelle haben diese Stelle markiert.
• Niedriger Konsens (< 50%): Weniger als die Hälfte der Modelle hat diese Stelle gefunden.

Verwendete Modelle

Vergleich aller Modelle

Strenge-Index (Explizit vs. Semantisch)

Dieses Diagramm zeigt, wie streng die Modelle urteilen. Ein höherer Anteil an "expliziten Verboten" könnte auf eine striktere Auslegung der Definitionen hindeuten.

Der verwendete Prompt

Folgender System-Prompt wurde verwendet, um die KI-Modelle zu instruieren:

Aufgabe: Analysiere das bereitgestellte Dokument vollständig. 

Ziel: Erfasse alle Verbotsaussagen und kategorisiere sie strikt in zwei Klassen: 
1) „Explizites Verbot“ 
2) „Semantisches Verbot“ 

Definitionen (bindend): 

Explizites Verbot: Eine Aussage gilt als explizites Verbot, wenn sie eindeutig ein Verbot durch ein Verbotswort oder eine juristisch klare Negationsform ausdrückt, z. B.: - „verboten“ - „wir verbieten“ - „ist zu verbieten“ - „untersagt“ - „dürfen nicht“ - „wird verboten“ - „gehört verboten“ 
Semantisches Verbot: Eine Aussage gilt als semantisches Verbot, wenn sie inhaltlich dasselbe bewirkt wie ein Verbot, ohne ein explizites Verbotswort zu verwenden, z. B.: - „keine neuen …“ - „nicht zulässig“ - „wird verhindert“ - „soll unterbleiben“ - „wir lehnen … ab“ - „wir wollen … stoppen“ - „es darf nicht weiter …“ - „ist auszuschließen“ 

Vorgehen:
- Lies das Dokument vollständig. 
- Extrahiere jede einzelne Verbotsaussage. 
- Ordne jede Aussage exakt einer der beiden Kategorien zu. 
- Keine Zusammenfassungen, keine Bewertungen, keine Interpretation über den Text hinaus. 
- Mehrdeutige Fälle immer als „Semantisches Verbot“ klassifizieren. 

Ausgabeformat (verpflichtend, exakt einhalten): 
{ "sourceFile": "", "topics": [ { "category": "explizites Verbot | semantisches Verbot", "topic": "", "location": "", "originalQuote": "" } ] }