A mesterségesintelligencia-fejlesztők a nyelvi modelljeik betanításához keresik a nyersanyagot, a nagy tartalomszolgáltatók viszont védik a kreatív alkotásokat a kéretlen felhasználástól. Sürgősen szükség lenne áthidaló megoldásokra.

A tanulmány állításainak értelmezéséhez tudni kell, hogy a nagy nyelvi modellek azért lettek az utóbbi években ilyen jól használhatók (elsősorban angol nyelven), mert hatalmas szövegadatbázisokon, szaknyelvi korpuszokon tanítják be őket. Leegyszerűsítve: minél nagyobb, minél változatosabb és minél jobb minőségű az a szöveg, amelyen átrágják magukat az LLM-ek, annál értelmesebb, hasznosabb, "emberibb" válaszokat adnak majd csevegés közben.

Az, hogy mekkora méretűek és miből állnak össze az ominózus korpuszok, csak részben ismert, a fejlesztőcégek keveset árulnak el erről. A ChatGPT-ről például annyit tudni, hogy az alapmodelljét tréningező adatbázis is több százmilliárd szót tartalmazott. Ennek mindössze 3 százaléka volt a teljes angol nyelvű Wikipedia. A betanító adatbázis döntő része - közel kétharmada - egy webarchiváló projekt, a Common Crawl adatbázisából származott. Ez a kaliforniai nonprofit szervezet évente több alkalommal mintavételezi a teljes internetet, és ezekből a "webaratásokból" állít össze szabadon felhasználható korpuszt. A GPT-3-at ezeken kívül közösségimédia-platformok csevegésein pallérozták, valamint beletáplálták - állítólag szabadon hozzáférhető - digitalizált könyvek, tudományos közlemények, hírportálok cikkeinek szövegeit is.

A lehetséges megoldások között felmerült, hogy érdemes lenne az információs korszak előtti évszázadokban született írásműveket, könyveket, cikkeket, tanulmányokat digitalizálni, ám ez is csak ideig-óráig enyhítené az LLM-ek forráséhségét.