PAGINA 1 Large Language Models 01 Hoe ontstaat een antwoord? PAGINA 2 Wat is een LLM? 02 L Large Groot netwerk, getraind op veel tekst L Language Patronen in taal en informatie M Model Een wiskundig systeem Een LLM leert taalpatronen uit tekst en gebruikt die om tekst te genereren. PAGINA 3 Het model en de chatbot 03 Jouw vraag Chatbot Taalmodel Extra tools Bijvoorbeeld ChatGPT Bijvoorbeeld zoeken of rekenen PAGINA 4 Welk woord komt hierna? 04 Ik smeer mijn boterham met … Drie suggesties, daarvan gaan we er op 1 stemmen PAGINA 5 Wat verandert door extra context? 05 “Ik heb zin in iets zoets.” Ik smeer mijn boterham met … Verandert onze voorspelling? Waarom? Ook bij een LLM beïnvloedt de context welk tekststukje volgt. PAGINA 6 Een korte geschiedenis 06 Vóór 2017 Taalmodellen Onderzoekers leren computers al langer taal te verwerken. 2017 Transformer Google introduceert een belangrijke nieuwe architectuur. 2018 Eerste GPT OpenAI bouwt voort op de Transformer voor taalmodellen. 2022 ChatGPT Een chatinterface maakt de techniek breed toegankelijk. Google, OpenAI en andere onderzoeksgroepen bouwen verder op elkaars werk. PAGINA 7 Een antwoord begint met tokens 07 Ik ga morgen naar school. Ik ga morgen naar school . Tekststukjes krijgen een ID en een rij getallen. Daarmee kan het model rekenen. PAGINA 8 1. Pretraining 08 Bv. websites, boeken en code. Hebben ze daar toestemming voor? Selecteren Opschonen Tokens maken Trainingstekst: “Een hond heeft vier poten.” Invoer: Een hond heeft vier Doel: poten Dit heet zelfgesuperviseerd leren. PAGINA 9 2. Een foutscore stuurt het leren 09 Werkelijk vervolg: poten VOORSPELDE KANSEN poten 20% vleugels 50% overig 30% Loss = foutscore Hoe lager de kans op “poten”, hoe groter de foutscore. Backpropagation Optimizer Berekent hoe veranderingen in getallen de fout beïnvloeden. Past die getallen een beetje aan. Daarna opnieuw voorspellen. PAGINA 10 3. Extra training voor een chatbot 10 Instructietraining Het model krijgt veel voorbeelden van een goed antwoord. Training met feedback Beoordelaars vergelijken antwoorden. Hun voorkeuren helpen het model bruikbaardere antwoorden te leren geven. Dit heet reinforcement training. PAGINA 11 Het antwoord groeit token voor token 11 Elke stap: kansen berekenen, een token kiezen en toevoegen. STAP 1 De hoofdstad van Frankrijk is Parijs STAP 2 De hoofdstad van Frankrijk is Parijs . Het nieuwe token telt direct mee bij de volgende voorspelling. PAGINA 12 Attention weegt de context mee 12 Attention helpt het model relevante woorden mee te wegen. “Ik stort geld op de bank.” Financieel “Ik zit op de bank.” Meubel “Geld” en “zit” geven hetzelfde woord een andere context. PAGINA 13 Betrouwbaarheid 13 Een LLM geeft niet altijd betrouwbare of correcte informatie. Een passende formulering kan ook een verzonnen bron bevatten. Tekst voorspellen controleert op zichzelf niet of iets waar is. Een onjuist antwoord kan daardoor heel overtuigend klinken. Ook risico’s: vooroordelen, privacyproblemen en misbruik. PAGINA 14 14 Hoe groot kunnen AI- risico's worden? PAGINA 15 Vrij groot 15 PAGINA 16 Hoe groot kunnen AI-risico’s worden? 16 Misbruik Krachtige systemen kunnen helpen bij grootschalige schade. Zoals cybersecurity. Controleverlies Blijven toekomstige LLM's aligned met de mensheid en zullen die naar ons luisteren. Sommige onderzoekers waarschuwen zelfs voor uitstervingsrisico van de mensheid. PAGINA 17 Hoeveel controle willen we houden? 17 Eerst veiliger? Of sneller verder? Wie mag bepalen welk risico aanvaardbaar is? PAGINA 18 Bronnen en betrouwbaarheid 18 Transformer / Google en Vaswani et al. (2017) arxiv.org/abs/1706.03762 Eerste GPT / OpenAI (2018) openai.com/index/language-unsupervised/ Introductie ChatGPT / OpenAI (2022) openai.com/index/chatgpt/ RAG / Lewis et al. (2020) arxiv.org/abs/2005.11401 Risico’s / NIST (2024) doi.org/10.6028/NIST.AI.600-1 PAGINA 19 Bronnen: training en grotere risico’s 19 Basistraining / Brown et al. (2020) arxiv.org/abs/2005.14165 Menselijke feedback / Ouyang et al. (2022) arxiv.org/abs/2203.02155 Backpropagation / Google Machine Learning Crash Course developers.google.com/machine-learning/crash-course/neural-networks/backpropagation Risico’s en onzekerheid / International AI Safety Report (2025) internationalaisafetyreport.org/publication/international-ai-safety-report-2025 Waarschuwing van experts / Center for AI Safety safe.ai/work/statement-on-ai-extinction-risk