Legal Geek Europe 2025

Het ABB wilde eens weten wat de stand van zaken is met betrekking tot legal tech en bezocht daarom op donderdag 10 september Legal Geek Europe 2025 in Amsterdam.

Tekst: Diederik Palstra

Legal Geek Europe 2025[1] werd gehouden in De Hallen Studio’s in Amsterdam West. Er was een grote plenaire zaal en twee kleinere zalen waar workshops plaatsvonden. Een paar honderd tech-enthousiastelingen woonden het congres bij. In de plenaire zaal waren allemaal korte presentaties en paneldiscussies van zo’n 10 – 15 minuten. Vaak betrof het productpresentaties van nieuwe legal tech-innovaties, maar ook werden challenges in legal tech besproken. In de workshops, die elk zo’n drie kwartier duurden, werd dieper op de materie ingegaan. Het congres was goed georganiseerd en had zelfs een eigen app.

Bijna alles stond in het teken van artificial intelligence (‘AI’) en dan met name een vorm van machine learning, namelijk generative AI. Large language models (‘LLM’), zoals ChatGPT (GPT-5 is de meeste recente versie), zijn een voorbeeld van generative AI. Een LLM kan onder meer vragen beantwoorden, chatten, artikelen schrijven, teksten analyseren en rubriceren, en tekst vertalen. Een LLM kan zelfs coderen. Naast deze large language models zijn er ook small language models, zoals legal AI, dat meer gespecialiseerd is. Dat kan bijvoorbeeld jurisprudentie analyseren, documenten nakijken en er een markup van maken en juridische documenten genereren.

Het werd duidelijk dat bij een LLM toch wel veel afhangt van de prompts die de gebruiker geeft en van de dataset waarvan gebruik wordt gemaakt door de LLM. Een LLM blijft een programma dat slechts voorspelt wat statistisch gezien het meest waarschijnlijke volgende ‘token’ is (een token is een woord, een deel van een woord of een leesteken). Een LLM ‘denkt’ dus ook niet, het rekent slechts[2]. Het maakt het LLM ook niets uit of het antwoord juist of onjuist is, het geeft gewoon altijd een antwoord. Het statistisch gezien meest waarschijnlijke antwoord hoeft echter uiteraard niet het juiste antwoord te zijn. En een juridisch correct antwoord is in een LLM, dat op basis van alle data voorspelt, dikwijls niet het statistisch meest waarschijnlijke antwoord. Zo heb ik in een vorig artikel voor het ABB[3], ChatGPT, dat net op de markt was gekomen (dit betrof nog GPT-3), eens een multiple choice examen inleiding tot het recht van de UvA laten maken, waarvoor het slechts met de hakken over de sloot slaagde.

Problemen met het gebruik van AI

Een LLM kent namelijk een aantal problemen. Zo kan het bronnen verzinnen, het hallucineert dan. Zeer recent zagen we een voorbeeld hiervan toen de Rechtbank Rotterdam een advocaat vermaande vanwege niet toepasselijke en niet bestaande ECLI-nummers in zijn conclusie van antwoord[4]. Een LLM kan ook wetgeving gebruiken die niet meer geldig is of niet van toepassing is. Ook kent een LLM een cut-off date waardoor de meeste recente ontwikkelingen nog niet in de dataset zijn opgenomen. Een LLM kan biased zijn. Een LLM (of de ontwerper ervan) stoort zich niet aan intellectuele eigendomsrechten. Een LLM kan jurisdicties door elkaar halen (bijvoorbeeld Amerikaans recht en Nederlands recht). Er zijn problemen met vertrouwelijkheid van data. Een LLM lijdt ook nogal eens aan zelfoverschatting, mede omdat het altijd een antwoord geeft. Antwoord geven doen advocaten, niet zonder reden, vaak heel omfloerst of zelfs niet (‘Dat hangt van de omstandigheden van het geval af’). Vaak is een antwoord op een juridische vraag ook helemaal niet zo zeker. Daar zit dan ook de meerwaarde van legal AI, dat antwoordt op basis van een juridische dataset en veel van deze problemen wegneemt. Bij één van de presentaties werd zelfs gezegd dat een LLM, zonder voldoende relevante content, eigenlijk 100% van de tijd hallucineert. Daarom moet je altijd in controle blijven van een LLM door de juiste prompts stap voor stap te geven, zo werd gezegd.

Legal Tech Tools

Er werden tools gepresenteerd door, onder meer, LexisNexis, Thompson Reuters, Legal Fly[5]  en het Nederlandse Zeno[6]. Veel van deze tools betreffen echter maar één bron, bijvoorbeeld wetgeving, jurisprudentie, artikelen of je eigen dossiers. De startups hebben te weinig macht om de leveranciers ervan te overtuigen om deze bronnen te integreren. Op dat gebied is dus nog wel vooruitgang te boeken. Ook werd in een paneldiscussie gezegd dat advocaten erin moeten groeien om deze tools te gebruiken. Ze moeten leren dat deze tools veel tijd kunnen besparen en de output kunnen verbeteren. Er werd daarbij wel door een panellid opgemerkt dat als advocaten hierdoor sneller werken, ze uiteraard ook minder verdienen en dat kan misschien ook de traagheid verklaren waarmee deze tools in gebruik worden genomen.

Zo heeft Thompson Reuters ‘CoCounsel’ gecreëerd. Bij de presentatie hiervan werd als voorbeeld een weersvoorspelling van een grote storm gebruikt, die assets van een groot bedrijf bedreigt. De advocaat van het bedrijf kan dan in korte tijd met dit programma alle relevante contracten, zoals verzekeringsovereenkomsten, uit een dataset van duizenden contracten opdiepen, daaruit de relevante informatie halen en dit programma een plan van aanpak laten formuleren.

AI en het genereren van documenten

Daarnaast ging het veel over het automatisch genereren van juridische documenten door AI, bijvoorbeeld aan de hand van playbooks of gedigitaliseerde templates. Duidelijk werd wel dat er daarbij veel afhangt van de advocaten zelf. Hoe meer tijd zij erin steken, hoe beter de tool wordt. Ben je daartoe niet bereid, dan werd zelfs afgeraden eraan te beginnen. Deze vorm van legal tech bestaat al 30 jaar, zo werd gezegd, maar het resultaat tot nu toe is bedroevend omdat zoveel afhangt van de advocaten die er gebruik van maken en deze houden zich te weinig bezig met de ontwikkeling van deze tools. De programmeurs en de advocaten zouden meer moeten samenwerken, waarbij de advocaten de lead zouden moeten hebben volgens deze spreker.

Playbooks

Ook was er veel aandacht voor het creëren van playbooks voor compliance vereisten of voor de elementen die je terug wilt zien in overeenkomsten. Dit playbook kun je dan in de AI-tool invoeren naast alle overeenkomsten die je wil controleren. Deze tool doet dat dan aan de hand van dit playbook. In één van de workshops vertelde de spreker enthousiast dat hij recent, om 5.000 euro aan advocatenkosten te besparen, een Nederlandstalig playbook voor ICT-contracten (dat hij online had gevonden) in zo’n LLM had ingevoerd en daarnaast de Engelstalige ICT-overeenkomst die hij wilde laten controleren. Vervolgens vroeg hij het programma een Engelstalige lijst van verbeterpunten te geven aan de hand van het playbook. Dat ging prima volgens hem (maar de spreker was dus geen jurist) en zorgde dus voor een flinke besparing. De tool kan ook mark-ups maken en suggesties doen voor verbeteringen uit je eigen dataset van documenten die je zelf in het verleden gedraft hebt. Dit kan voor overeenkomsten in het algemeen, maar ook voor een bepaald type overeenkomsten zoals NDA’s.

Vibe coding

Johannes Jung van Bird & Bird leerde ons in een erg interessante presentatie hoe wij zelf AI-tools konden maken door een LLM te laten coderen door middel van gewone taalopdrachten. ‘Vibe coding’ wordt dit genoemd en zou de nieuwste trend zijn. Je hoeft dus helemaal geen programmeur meer te zijn om AI-tools te maken.

Voor mij was veel van dit alles een eye opener, want enigszins gegeneerd dacht ik (ik ben een funds lawyer) aan de uren die ik soms nodig heb om een vraag van een cliënt te beantwoorden of een bepaalde investering mag volgens de fondsdocumenten. Die moet ik dan vervolgens zelf document voor document doornemen. Dat zijn honderden pagina’s. AI kan dit vele malen sneller doen. Toch blijft daarbij de vraag hoe accuraat AI is. Het grote voordeel van AI is, zo zei men, dat AI niet moe wordt. De cliënt en ik kunnen het ons echter niet veroorloven dat er iets over het hoofd wordt gezien, bijvoorbeeld door een onduidelijke prompt, of doordat AI hallucineert. Het kan het einde van het fonds betekenen. Als AI het in 80% van de gevallen juist heeft, is dat eenvoudigweg onvoldoende. Daarom heb ik de nieuwste gratis versie van ChatGPT (GPT-4) weer het examen inleiding tot het recht laten maken van de UvA. Dit keer ging het beter. Het had 90% van de vragen goed[7]. Dat is een stuk beter dan GPT 3 maar nog altijd een foutmarge van 10%. Dus zolang je een goede nachtrust houdt, heb je als advocaat toch vast nog wel een zekere meerwaarde. Er werd ook gezegd dat je als advocaat altijd verantwoordelijkheid blijft en dat je je dit moet blijven realiseren ondanks de stelligheid waarmee AI antwoordt – want soms beweert AI iets wat complete nonsens is.

Andere legal tech conferences

Met deze kanttekening over de accuraatheid, en ook de kanttekening dat ChatGPT een LLM is en niet een juridische SLM die het ongetwijfeld nog beter had gedaan, moet ik zeggen dat het een ontzettend leuke en interessante dag was. Je werd ook erg enthousiast van al deze innovaties en de blik op de toekomst. Het werd mij duidelijk dat er momenteel buitengewoon veel gebeurt op dit gebied. Voor de volledigheid noem ik ook nog de Lexpo 2025[8], een ander interessant tweedaags jaarlijks legal tech congres dat dit jaar plaatsvond in Amsterdam en waar advocaten ook nog eens PO punten voor konden krijgen. Tenslotte organiseert Dutch Legal Tech.[9], een not-for-profit, regelmatig meetups voor mensen die geïntereseerd zijn in Dutch legal tech.

[1] https://www.legalgeek.co/europe/
[2] Zie ook Richard Susskind: ‘How to think about AI’; OUP 2025.
[3] ABB Februari 2023
[4] Rechtbank Rotterdam van 27 augustus 2025 (ECLI:NL:RBROT:2025:10388).
[5] https://www.legalfly.com/
[6] https://zeno.law/nl/
[7] In 2023 was het percentage van de vragen dat ChatGPT-3 goed had: 60%.
[8] https://lexpo.com/
[9] https://www.dutchlegaltech.nl/