Kritische analyse van echte gebruikssituaties van LLM: tussen belofte en werkelijkheid

Terwijl het debat over de daadwerkelijke waarde van grote taalmodellen (LLM's) voortduurt, is het essentieel om de reële use cases die bedrijven implementeren kritisch te onderzoeken. Deze analyse heeft als doel de concrete toepassingen van LLM's in verschillende sectoren te bekijken, waarbij de daadwerkelijke waarde, de beperkingen en het potentieel met een kritische blik worden geëvalueerd.

E-commerce en detailhandel: gerichte optimalisatie of overengineering?

In de detailhandel en e-commerce worden LLM's voor verschillende taken gebruikt:

• Interne assistenten en verbetering van de workflow: Instacart heeft een AI-assistent ontwikkeld genaamd Ava om teams te ondersteunen bij het schrijven, reviewen en debuggen van code, het verbeteren van communicatie en het bouwen van interne tools. Hoewel veelbelovend, rijst de vraag of deze assistenten wezenlijk meer waarde bieden dan traditionelere en minder complexe samenwerkingstools.
• Moderatie van content en veiligheid: Whatnot gebruikt LLM's om de moderatie van multimodale content, bescherming tegen fraude en detectie van onregelmatigheden bij aanbiedingen te verbeteren. Zillow zet LLM's in om discriminerende content in vastgoedadvertenties te identificeren. Deze gevallen vertegenwoordigen specifieke toepassingen waarbij LLM's daadwerkelijke waarde kunnen bieden, maar ze vereisen nauwkeurige verificatiesystemen om valse positieven en negatieven te voorkomen.
• Extractie en classificatie van informatie: OLX heeft de Prosus AI Assistant ontwikkeld om functierollen in vacatures te identificeren, terwijl Walmart een systeem heeft ontwikkeld om productattributen uit pdf's te extraheren. Deze gevallen tonen het nut van LLM's aan bij het automatiseren van repetitieve taken die anders aanzienlijk handmatig werk zouden vergen.
• Genereren van creatieve content: StitchFix combineert door algoritmes gegenereerde tekst met menselijk toezicht om het maken van advertentiekoppen en productomschrijvingen te vereenvoudigen. Instacart genereert afbeeldingen van voedingsproducten. Deze toepassingen roepen vragen op over de originaliteit van de gegenereerde content en de mogelijke homogenisering van reclametaal.
• Verbetering van zoekfunctionaliteit: Leboncoin, Mercado Libre en Faire gebruiken LLM's om de relevantie van zoekopdrachten te verbeteren, terwijl Amazon LLM's inzet om gezondverstandsrelaties te begrijpen en relevantere productaanbevelingen te doen. Deze gevallen vertegenwoordigen een gebied waar de toegevoegde waarde van LLM's potentieel aanzienlijk is, maar de rekencomplexiteit en de bijbehorende energiekosten rechtvaardigen mogelijk niet de incrementele verbetering ten opzichte van bestaande zoekalgoritmes.

Fintech en bankieren: navigeren tussen waarde en regelgevingsrisico's

In de financiële sector wordt LLM voorzichtig toegepast, gezien de gevoelige aard van de gegevens en de strenge wettelijke vereisten:

• Classificatie en tagging van data: Grab gebruikt LLM's voor datagovernance, door entiteiten te classificeren, gevoelige informatie te identificeren en passende tags toe te wijzen. Deze use case is bijzonder interessant omdat hij een kritieke uitdaging voor financiële instellingen aanpakt, maar er zijn strenge controlemechanismen nodig om classificatiefouten te voorkomen.
• Genereren van rapporten over financiële criminaliteit: SumUp genereert gestructureerde verhalen voor rapporten over financiële fraude en witwassen. Deze toepassing is veelbelovend om de handmatige werklast te verminderen, maar roept zorgen op over het vermogen van LLM's om juridisch gevoelige onderwerpen correct te behandelen zonder menselijk toezicht.
• Ondersteuning bij financiële query's: Digits stelt query's voor met betrekking tot banktransacties. Deze use case laat zien hoe LLM's professionals kunnen bijstaan zonder hen te vervangen, een aanpak die mogelijk duurzamer is dan volledige automatisering.

Technologie: Automatisering en service

In de technologiesector worden LLM's veel gebruikt om interne workflows en gebruikerservaringen te verbeteren:

• Incidentbeheer en veiligheid: Volgens security.googleblog.com gebruikt Google LLM's om samenvattingen van veiligheids- en privacy-incidenten te leveren voor verschillende ontvangers, waaronder leidinggevenden, verantwoordelijken en partnerteams. Deze aanpak bespaart tijd voor verantwoordelijken en verbetert de kwaliteit van incidentsamenvattingen. Microsoft zet LLM's in voor de diagnose van productie-incidenten, terwijl Meta een AI-ondersteund systeem voor rootcause-analyse heeft ontwikkeld. Incident.io genereert samenvattingen van software-incidenten. Deze gevallen tonen de waarde van LLM's bij het versnellen van kritieke processen, maar roepen vragen op over hun betrouwbaarheid in situaties met hoge inzet.
• Programmeerondersteuning: GitHub Copilot biedt codesuggesties en automatische aanvullingen, terwijl Replit LLM's heeft afgestemd op codereparatie. NVIDIA gebruikt LLM's om softwarekwetsbaarheden te detecteren. Deze tools verhogen de productiviteit van ontwikkelaars, maar kunnen ook inefficiënte of onveilige codepatronen verspreiden als ze kritiekloos worden gebruikt.
• Dataquery's en interne zoekfunctie: Honeycomb helpt gebruikers bij het schrijven van dataquery's, Pinterest zet gebruikersvragen om in SQL-query's. Deze gevallen tonen hoe LLM's de toegang tot data kunnen democratiseren, maar kunnen ook leiden tot onjuiste of inefficiënte interpretaties zonder diepgaand begrip van de onderliggende datastructuren.
• Classificatie en beheer van supportverzoeken: GoDaddy classificeert supportverzoeken om de klantervaring te verbeteren. Dropbox vat vragen over bestanden samen en beantwoordt deze. Deze gevallen tonen het potentieel van LLM's om de klantenservice te verbeteren, maar roepen zorgen op over de kwaliteit en nauwkeurigheid van de gegenereerde antwoorden.

Leveringen en mobiliteit: operationele efficiëntie en maatwerk

In de bezorgings- en mobiliteitssector worden LLM's gebruikt om de operationele efficiëntie en gebruikerservaring te verbeteren:

• Testen en technische ondersteuning: Uber gebruikt LLM's om mobiele applicaties te testen met DragonCrawl en heeft Genie gebouwd, een AI-copiloot om supportvragen te beantwoorden. Deze tools kunnen de tijd die aan testen en ondersteuning wordt besteed aanzienlijk verminderen, maar vangen mogelijk niet dezelfde complexe problemen of edge cases op als een menselijke tester zou doen.
• Extractie en matching van productinformatie: DoorDash extraheert productdetails uit SKU-data en Delivery Hero matcht zijn eigen assortiment met producten van concurrenten. Deze gevallen tonen hoe LLM's complexe datamatchingprocessen kunnen automatiseren, maar kunnen zonder adequate controles bias of onjuiste interpretaties introduceren.
• Conversationeel zoeken en relevantie: Picnic verbetert de zoekrelevantie voor productlijsten, terwijl Swiggy neuraal zoeken heeft geïmplementeerd om gebruikers te helpen eten en boodschappen op een conversationele manier te ontdekken. Deze gevallen illustreren hoe LLM's zoekinterfaces intuïtiever kunnen maken, maar kunnen ook "filterbubbels" creëren die de ontdekking van nieuwe producten beperken.
• Automatisering van ondersteuning: DoorDash heeft een op LLM's gebaseerde supportchatbot gebouwd die informatie uit de kennisbank ophaalt om antwoorden te genereren die problemen snel oplossen. Deze aanpak kan de reactietijden verbeteren, maar vereist solide vangrails om complexe of emotioneel geladen situaties te beheren.

Sociaal, media en B2C: gepersonaliseerde inhoud en interacties

In sociale media en B2C-diensten worden LLM's gebruikt om inhoud op maat te maken en interacties te verbeteren:

• Analyse en moderatie van content: Yelp heeft zijn systeem voor contentmoderatie bijgewerkt met LLM's om bedreigingen, intimidatie, obsceniteit, persoonlijke aanvallen of aanzetten tot haat te detecteren. LinkedIn analyseert diverse content op het platform om informatie over vaardigheden te extraheren. Deze gevallen tonen het potentieel van LLM's om de kwaliteit van content te verbeteren, maar roepen zorgen op over censuur en de mogelijke beperking van de vrijheid van meningsuiting.
• Genereren van educatieve en marketingcontent: Duolingo gebruikt LLM's om designers te helpen bij het genereren van relevante oefeningen, terwijl Nextdoor LLM's inzet om aantrekkelijke e-mailonderwerpen te creëren. Deze toepassingen kunnen de efficiëntie verhogen, maar kunnen ook leiden tot een overmatige standaardisering van content.
• Vertaling en meertalige communicatie: Roblox maakt gebruik van een op maat gemaakt meertalig model waarmee gebruikers probleemloos in hun eigen taal kunnen communiceren. Deze toepassing toont het potentieel van LLM's om taalbarrières te overwinnen, maar kan onjuiste culturele nuances in de vertalingen introduceren.
• Interactie met multimedia-content: Vimeo stelt gebruikers in staat om met video's te "praten" via een op RAG gebaseerd vraag-en-antwoordsysteem dat videocontent kan samenvatten, naar belangrijke momenten kan verwijzen en aanvullende vragen kan voorstellen. Deze toepassing toont hoe LLM's de manier waarop we omgaan met multimedia-content kunnen transformeren, maar roept vragen op over de getrouwheid van de gegenereerde interpretaties.

Kritische evaluatie: echte waarde versus de trend volgen

Zoals Chitra Sundaram, directeur van de data management practice bij Cleartelligence, Inc., benadrukt: "LLM's zijn resource-verslinders. Het trainen en uitvoeren van deze modellen vereist enorme rekenkracht, wat leidt tot een aanzienlijke CO2-voetafdruk. Duurzame IT gaat over het optimaliseren van het gebruik van middelen, het minimaliseren van verspilling en het kiezen van de juiste oplossing in de juiste omvang". Deze observatie is bijzonder relevant bij het analyseren van de gepresenteerde use cases.

Bij het analyseren van deze use cases komen verschillende kritische overwegingen naar voren:

1. Incrementele waarde versus complexiteit

Veel toepassingen van LLM's bieden incrementele verbeteringen ten opzichte van bestaande oplossingen, maar tegen aanzienlijk hogere reken-, energie- en implementatiekosten. Zoals Chitra Sundaram stelt: "Een LLM gebruiken om een simpel gemiddelde te berekenen, is als een bazooka gebruiken om een vlieg te raken" (paste-2.txt). Het is essentieel om te evalueren of de toegevoegde waarde deze complexiteit rechtvaardigt, vooral gezien:

• De noodzaak van robuuste monitoringsystemen
• De energiekosten en de impact op het milieu
• De complexiteit van onderhoud en updates
• De vereisten voor gespecialiseerde vaardigheden

2. Afhankelijkheid van menselijk toezicht

De meeste succesvolle use cases hanteren een human-in-the-loop benadering, waarbij LLM's menselijke interventie ondersteunen in plaats van volledig vervangen. Dit suggereert dat:

• Volledige automatisering via LLM's blijft problematisch
• De belangrijkste waarde ligt in het versterken van menselijke capaciteiten, niet in het vervangen ervan
• De effectiviteit hangt af van de kwaliteit van de interactie tussen mens en machine

3. Domeinspecificiteit versus generieke toepassingen

De meest overtuigende use cases zijn die waarbij LLM's zijn aangepast en geoptimaliseerd voor specifieke domeinen, met domeinkennis die is geïntegreerd via:

• Fine-tuning op sectorspecifieke data
• Integratie met bestaande systemen en kennisbronnen
• Guardrails en contextspecifieke beperkingen

4. Integratie met bestaande technologieën

De meest effectieve cases gebruiken LLM niet op zichzelf, maar vullen het aan met:

• Systemen voor het ophalen en opslaan van gegevens (RAG)
• Gespecialiseerde algoritmen en bestaande workflows
• Verificatie- en controlemechanismen

Zoals de use case van Google laat zien, maakt de integratie van LLM's in workflows voor beveiligings- en privacy-incidenten het mogelijk om "de respons op incidenten te versnellen met behulp van generatieve AI", waarbij de gegenereerde samenvattingen worden aangepast aan verschillende ontvangers, zodat de relevante informatie de juiste personen bereikt in het meest bruikbare formaat.

Conclusie: Een pragmatische benadering van LLM's

Chitra Sundaram biedt een verhelderend perspectief als hij zegt: "De weg naar duurzame analyse gaat over het kiezen van de juiste tool voor de taak, niet over het najagen van de nieuwste trend. Het gaat om investeren in bekwame analisten en goed gegevensbeheer. Het gaat erom van duurzaamheid een hoofdprioriteit te maken".

Analyse van deze praktijkvoorbeelden bevestigt dat LLM's geen wonderoplossing zijn, maar krachtige hulpmiddelen die, wanneer ze strategisch worden toegepast op specifieke problemen, aanzienlijke waarde kunnen bieden. Organisaties moeten:

1. Specifieke problemen identificeren waarbij natuurlijke taalverwerking een substantieel voordeel biedt ten opzichte van traditionele benaderingen
2. Beginnen met pilotprojecten die snel en meetbaar waarde kunnen aantonen
3. LLM's integreren met bestaande systemen in plaats van workflows volledig te vervangen
4. Mechanismen voor menselijk toezicht behouden, vooral voor kritieke toepassingen
5. Systematisch de kosten-batenverhouding evalueren, waarbij niet alleen prestatieverbeteringen worden overwogen, maar ook energie-, onderhouds- en updatekosten

De bedrijven die floreren in het tijdperk van LLM's zijn niet noodzakelijkerwijs de bedrijven die ze het meest toepassen, maar de bedrijven die ze het meest strategisch toepassen, waarbij ze een evenwicht vinden tussen innovatie en pragmatisme en een kritisch oog houden op de echte waarde die naast de hype wordt gegenereerd.