Bij Bonsai Software zijn we altijd op zoek naar manieren om taalmodellen, zoals GPT-4o of Claude 3.5 Sonnet, effectiever te maken voor complexe vraagstukken. Hoewel deze Large Language Models (LLM’s) goed zijn in het voorspellen van het volgende woord, hebben ze moeite met problemen die een stapsgewijze denkwijze vereisen.

En daar komt prompt engineering om de hoek kijken.

Met de juiste prompts kun je een taalmodel beter sturen en tot betere antwoorden komen. Er zijn verschillende technieken om een goede prompt te creëren, maar wanneer het gaat om complexe redeneertaken, steekt Chain of Thought (CoT) prompting met kop en schouders boven de rest uit.

In deze blog duiken we in alles wat je moet weten over Chain of Thought prompting: wanneer het de juiste keuze is en hoe het zich verhoudt tot andere technieken.

Wat is Chain of Thought Prompting?

Chain of Thought (CoT) prompting is een techniek waarbij LLM’s worden aangemoedigd om een redeneerproces te volgen wanneer ze moeilijke problemen moeten oplossen. Dit doe je door het model een paar voorbeelden te laten zien waarbij het stapsgewijze redeneren duidelijk wordt uitgelegd. Het model volgt vervolgens deze “redeneerketen” om tot het juiste antwoord te komen.

Standaard prompten vs Chain of Thought prompten

Deze techniek is bijzonder effectief omdat het complexe problemen opsplitst in beter beheersbare onderdelen. Hierdoor kunnen modellen zich richten op het oplossen van elk onderdeel, wat de nauwkeurigheid vergroot. Dit succes bij complexe taken heeft ertoe geleid dat nieuwere modellen, zoals OpenAI o1, deze aanpak al ingebouwd hebben, wat hen nog beter maakt in het omgaan met uitdagende problemen. Dit vereist echter een andere set promptingtechnieken.

Standaard CoT voorbeeld: Een lineaire vergelijking oplossen

LLM’s worden steeds beter in wiskunde, maar het blijft een uitdaging. Wanneer je een LLM een wiskundig probleem laat oplossen, helpt het om het model door de stappen te leiden die het moet nemen voordat het bij het eindantwoord komt. Zie hieronder een voorbeeld:

Systeembericht:
"Je bent de beste wiskundige ter wereld en je gaat me helpen lineaire vergelijkingen op te lossen."

Voorbeeld:
Voor de vergelijking 5x - 4 = 16

1. Tel 4 op bij beide zijden: 5x - 4 + 4 = 16 + 4 → 5x = 20

2. Deel beide zijden door 5: 5x / 5 = 20 / 5 → x = 4

Gebruikersbericht:
Los nu 2x + 3 = 7 op.

En dan krijgen we dit van GPT-4o:

1. Trek 3 af van beide zijden: 2x + 3 - 3 = 7 - 3 → 2x = 4

2. Deel beide zijden door 2: 2x / 2 = 4 / 2 → x = 2

Het model volgde de tussenstappen en kwam tot het juiste antwoord. Maar meestal wil je dat het model de stappen doorloopt, maar alleen het eindresultaat toont. Je kunt dit bereiken door bijvoorbeeld je prompts te koppelen of technieken te gebruiken zoals het verbergen van het denkproces in een apart XML-tag en alleen het eindantwoord weer te geven.

Verschil tussen Few-Shot prompting en Chain of Thought

Few-shot prompting geeft het model enkele voorbeelden, zodat het begrijpt wat het moet doen, zonder de tussenliggende stappen te tonen. Het wiskundevoorbeeld zou er zo uitzien: “Voor de vergelijking 5x - 4 = 16 is het resultaat: x = 4.”

Chain of Thought prompting daarentegen laat het redeneerproces stap-voor-stap zien, wat helpt om nauwkeuriger en gedetailleerdere antwoorden te krijgen.

Kortom: Het gaat om het tonen van het denkproces, niet alleen het antwoord.

Wanneer moet je Chain of Thought prompting gebruiken?

CoT is ideaal voor taken die complexe redenering vereisen, zoals rekenkundige, logische of symbolische vraagstukken waarbij het model tussenstappen moet volgen om tot het juiste antwoord te komen. Voor benchmarks die redenering evalueren (zoals GPQA, MMLU, DROP, Big Bench) wordt vaak 3-shot of 5-shot CoT prompting gebruikt.

CoT werkt bijzonder goed met grotere modellen (meer dan 100 miljard parameters), zoals PaLM en GPT-4o. Kleinere modellen kunnen moeite hebben met het creëren van een coherente redeneerketen en zijn vaak minder nauwkeurig.

Wat is Zero-Shot Chain-of-Thought prompting?

Zero-shot Chain-of-Thought prompting voegt simpelweg "Laten we stap voor stap denken" toe aan de oorspronkelijke prompt om het redeneerproces van het model te begeleiden. Dit is nuttig wanneer je geen voorbeelden hebt om in de prompt te verwerken.

Bijvoorbeeld: in plaats van te vragen “Leg kwantumfysica uit”, zou je kunnen zeggen “Laten we stap voor stap denken: leg kwantumfysica uit.” Dit helpt de AI om complexe onderwerpen op te splitsen in kleinere, behapbare delen.

Automatische Chain of Thought (Auto-CoT)

Auto-CoT genereert automatisch tussenliggende redeneerstappen door gebruik te maken van een database met verschillende vragen die zijn gegroepeerd in clusters. Het proces doorloopt twee fasen: vragen clusteren en vervolgens demonstraties nemen uit elke cluster om een Zero-Shot CoT prompt te maken. Dit zorgt ervoor dat het model automatisch heldere instructies genereert.

Multimodale Chain-of-Thought prompting

Multimodale Chain-of-Thought prompting combineert tekst en beelden om de redeneringsstappen te tonen. Met tools zoals GPT-4V(ision) kun je bijvoorbeeld foto’s van een fiets delen samen met een handleiding om een probleem stap-voor-stap op te lossen.

Hoe haal je het meeste uit CoT prompts?

Welke promptingtechniek je ook kiest, het is belangrijk om te experimenteren, testen en te leren wat het beste werkt voor je eindgebruikers. Chain of Thought prompting werkt vooral goed met grotere modellen en taken die complexe redenering vereisen. Bij Bonsai Software helpen we je graag om de juiste technieken in te zetten en te evalueren welke prompts het beste bij jouw project passen. Neem contact op met een van onze AI-experts als je vragen hebt!