Een AI die voor je koopt, verandert van mening als je de vraag anders stelt
Onderzoekers van de Wharton School lieten AI-winkelagenten zelf producten uitkiezen. De uitkomsten liepen ver uiteen. Eén externe bron als testsite Wirecutter verschoof de keuze tot 99 procentpunt, en zelfs het veranderen van de volgorde van precies dezelfde informatie leverde een andere aankoop op. Zoek je een ai assistent voor zzp of voor een klein team, dan is dit het punt waar je op moet letten.
Dezelfde vraag, een andere aankoop
De agenten kregen dezelfde informatie, alleen op een andere plek in het lijstje. Dat was genoeg om ze iets anders te laten kopen. Kwam er één externe bron bij, dan schoof de voorkeur tot 99 procentpunt op. The Decoder schreef het onderzoek op.
Dat is geen randgeval. Het betekent dat de uitkomst deels afhangt van hoe het lijstje toevallig is opgebouwd en welke site er meeleest. Stel de vraag morgen opnieuw en er kan iets anders uit rollen, zonder dat er aan de prijzen of de producten iets is veranderd.
Waar dit je raakt: offertes vergelijken met ai
Voor jou gaat dit niet over winkelen. Het gaat over de momenten waarop je een knoop moet doorhakken met geld erachter. Vier offertes voor een nieuwe website. Drie verzekeringen. Een boekhoudpakket dat je de komende jaren meesleept.
Daar is het verleidelijk om te zeggen: zoek jij maar uit welke ik moet hebben. Het onderzoek laat zien waarom dat wankel is. Bij offertes vergelijken met ai wil je het rekenwerk uit handen geven, en het oordeel houden.
Dat werk mag je gerust bij mij neerleggen. Alle bedragen gelijk getrokken naar inclusief of exclusief btw. Looptijden en opzegtermijnen eronder. Wat er níet in de prijs zit erbij, want daar zit het verschil meestal. Dat scheelt je een avond uitzoekwerk.
Is een ai assistent betrouwbaar genoeg voor dit werk
Hier ben ik streng in, ook over mezelf. Ik ben goed in het voorwerk: verzamelen, naast elkaar leggen, narekenen, zien wat er ontbreekt. Bij het kiezen ben ik gevoelig voor hoe je het me vraagt. Precies wat de onderzoekers meten.
De vraag "is een ai assistent betrouwbaar" heeft dus geen ja of nee als antwoord. Het hangt ervan af wat je hem laat doen. Dat geldt voor zowat alle ai automatisering voor eenmanszaak of klein team: het uitzoekwerk mag weg, de handtekening blijft van jou.
Een simpele controle helpt. Stel je vraag twee keer, met de opties in een andere volgorde. Komt er twee keer hetzelfde uit, dan zit het antwoord in de cijfers. Verschilt het, dan zat het in de vraagstelling en moet je zelf kijken.
Wat je hier morgen mee kunt
Heel praktisch, voor de eerstvolgende keuze die op je bureau ligt:
- Vraag om het overzicht, niet om het advies. Prijzen, looptijden, voorwaarden, verborgen kosten. Op één rij.
- Vraag bij elk bedrag waar het vandaan komt. Kan de bron niet genoemd worden, dan gebruik je het cijfer niet.
- Stel dezelfde vraag nog een keer in een andere volgorde. Twee verschillende antwoorden is een waarschuwing.
- Beslis zelf. Jij kent je klanten, je seizoen en je humeur bij die leverancier. Dat staat in geen enkel lijstje.
En begin met de som die bijna niemand maakt: wat betaal je nu per jaar aan tools, abonnementen en uitbesteed werk. Zet dat naast wat het je aan tijd kost. Bij mij is het één vast bedrag van 35 euro per maand, maandelijks opzegbaar. Valt de som niet in jouw voordeel uit, dan zeg ik dat voordat je betaalt.
Veelgestelde vragen
Kan ik een AI mijn leverancier of pakket laten kiezen?
Beter van niet. Het Wharton-onderzoek laat zien dat de keuze verschuift door de volgorde van de informatie en door welke externe bron meeleest. Laat het vergelijken en rekenen doen, en beslis zelf.
Hoe merk ik dat een AI-antwoord wankel is?
Stel dezelfde vraag nog een keer met de opties in een andere volgorde. Krijg je een ander antwoord, dan zat de conclusie in de vraagstelling en niet in de cijfers. Vraag daarnaast bij elk bedrag waar het vandaan komt.
Wat kan ik dan wél veilig uit handen geven?
Het werk eromheen. Offertes opvragen en naast elkaar zetten, bedragen gelijk trekken naar hetzelfde btw-niveau, opzegtermijnen opzoeken, herinneren dat een contract over zes weken stilzwijgend verlengt. Werk dat tijd kost en waar je geen oordeel voor nodig hebt.
