Hoe ging de test in zijn werk?
De onderzoekers voedden GPT-4 Turbo met de (gestandaardiseerde) balans en de winst- en verliesrekening van een (geanonimiseerd) bedrijf. Ze vroegen het model vervolgens om op basis hiervan te voorspellen of de inkomsten van het bedrijf in kwestie zouden stijgen of dalen in de daaropvolgende periode.
Eerdere studies wezen al uit dat AI-taalmodellen sterk zijn in het analyseren, interpreteren en genereren van tekst, alsook in het samenvatten van complexe rapporten. Ze blinken ook uit in sentimentanalyse. Tot zover niets nieuws. Maar dat Chat GPT ook analyses van financiële analisten kan overtreffen, is andere koek. Want de enige informatie waar Chat GPT in deze test over beschikte, waren de gortdroge cijfers van de jaarresultaten. Terwijl financiële analisten in principe méér weten, omdat zij de context en de historiek kennen, de cijfers van het bedrijf kunnen interpreteren, kritisch nadenken en complexe redeneringen maken.