ICT
Een LLM-presentatie en een individueel verslag over training, attention en digitale infrastructuur.
De opdracht
Onderzoek naar Large Language Models, uitgewerkt in een presentatie en een individueel verslag. Het verslag kijkt daarnaast terug op presentaties over Internet of Things, zoekmachines en online betalen.
Resultaat
Een LLM-presentatie en een individueel verslag over training, attention en digitale infrastructuur.
ICT — individueel verslag — pagina 1
Lees de volledige uitwerking
De presentatie ‘Large Language Models — Hoe ontstaat een antwoord?’ bestaat uit 19 dia’s. Aan bod komen tokens, pretraining, foutscore, backpropagation, instructietraining, feedback en attention. Ook betrouwbaarheid, privacy, misbruik en grotere AI-risico’s worden besproken.
Het individuele verslag verbindt de technische uitleg aan concrete vragen: wie ontvangt sensorgegevens, hoe worden zoekresultaten geordend en welke handeling bevestig je eigenlijk op een betaalpagina?
Mijn bijdrage
Mijn individuele verslag beschrijft het onderzoek naar LLM’s en mijn terugblik op de andere ICT-presentaties. De LLM-presentatie is als afzonderlijk document opgenomen; een preciezere taakverdeling binnen de presentatie is nog niet beschreven.
Reflectie
Tijdens het onderzoek merkte ik dat het gebruiken van een chatbot iets anders is dan begrijpen hoe het systeem werkt. Vooral attention en de manier waarop een model van fouten leert, vond ik in het begin lastig te begrijpen.
Nieuw voor mij was hoe de training precies werkt. Een model krijgt tekstvoorbeelden en voorspelt steeds het volgende token. Het werkelijke vervolg staat al in de trainingstekst. De foutscore hangt af van hoeveel kans het model aan dat vervolg geeft. Daarna worden de interne getallen, de parameters, een beetje aangepast. Door dit met veel voorbeelden te herhalen, leert het model taalpatronen.