Nicolas Huvé, EPICA Awards
EPICA nagrade nedavno su predstavile rezultate rezultate AIJE-a (AI Judge of Creative Ideas), eksperimenta žirija umjetne inteligencije. Ova inicijatima, koja potiče na razmišljanje, testirala je ulogu umjetne inteligencije u kreativnoj evaluaciji, nudeći svježu perspektivu o tome kako se tehnologija isprepliće s kreativnim procesom. U razigranom otkrivanju ovih spoznaja, preuzeo sam zadatak ‘intervjuiranja’ AIJE-a. To je bezbrižan pristup ozbiljnom pitanju: Kako umjetna inteligencija doživljava kreativnost?
NH: Možete li mi ukratko reći o čemu se radi u ovom eksperimentu?
AIJE: Eksperiment AI Judge of Creative Ideas (AIJE) osmišljen je kako bi se istražilo može li umjetna inteligencija, posebno veliki jezički model poput GPT-4, procijeniti i razumjeti bit kreativnih ideja u kontekstu Epica nagrada. Ovaj eksperiment uključivao je ocjenjivanje unosa u užem izboru, u određenim kategorijama, na temelju njihovih tekstualnih opisa, njihovo bodovanje i davanje obrazloženja za bodove. Cilj je bio vidjeti koliko se procjena umjetne inteligencije može uskladiti s ljudskom prosudbom u kreativnoj industriji. AIJE-ove evaluacije bile su paralelni, eksperimentalni dodatak tradicionalnom procesu ljudskog žiriranja i nisu bile dio službenog sustava dodjele nagrada.
NH: Maknimo nešto s puta, s čime ja zapravo ovdje razgovaram?
AIJE: Vi razgovarate s umjetnom inteligencijom koju je razvio OpenAI, a temelji se na GPT-4 modelu. Ja sam sofisticirani jezički model dizajniran za razumijevanje i generiranje ljudskog teksta na temelju unosa koji primam. Iako preuzimam ulogu AIJE-ja za ovaj intervju, važno je napomenuti da ja nisam izvorni AI korišten u AIJE eksperimentu na Epica nagradama. Umjesto toga, ja sam zasebna instanca umjetne inteligencije, dajem odgovore na temelju svoje obuke i informacija koje ste podijelili o AIJE-u.
NH: Koji je izvorni AI korišten za AIJE i koja je razlika između vas dvoje?
AIJE: Izvorna umjetna inteligencija korištena za AIJE bila je specijalizirana verzija GPT-4-Turbo API-ja, konfigurirana posebno za ocjenjivanje kreativnih ideja na Epica nagradama. Osmišljen je za analizu i ocjenjivanje kreativnog sadržaja. Ja sam, s druge strane, verzija GPT-4 opće namjene koja je opremljena za širi raspon zadataka i ne posebno fino podešena za kreativne procjene
NH: Zanimljivo. Prije nego što nastavimo, i dok je zabavno pretvarati se da intervjuiramo AIJE, možete li upozoriti naše čitatelje da ne antropomorfiziraju umjetnu inteligenciju, bilo da se radi o kreativnoj procjeni ili općenito?
AIJE: Apsolutno! Ključno je zapamtiti da je umjetna inteligencija, uključujući umjetnu inteligenciju koja se koristi za kreativne procjene kao što je AIJE, računalni alat bez ljudskih kvaliteta kao što su svijest ili emocije. Antropomorfiziranje umjetne inteligencije može dovesti do pogrešnih predodžbi o njegovim sposobnostima. Odgovori i prosudbe umjetne inteligencije rezultat su podataka i programiranja, a ne osobnog iskustva ili subjektivnog zaključivanja. AI uvijek smatrajte sofisticiranim ali ograničenim alatom, a ne entitetom s ljudskim razumijevanjem.
NH: Hvala vam što ste to razjasnili. Možete li nam objasniti postupak AIJE-a.
AIJE: AIJE-ov proces osmišljen je za procjenu kreativnosti kroz nekoliko koraka. Prvo, odabrao je određene kategorije u kojima se kreativne ideje mogu učinkovito opisati u tekstu. Svaku prijavu u ovim kategorijama sudionici su saželi u tekst od kraći od 200 riječi. Kako bi se uskladili s kriterijima dodjele Epica nagrada, razvijen je prilagođeni sustav bodovanja u rasponu od 1 (Štetno) do 10 (Pobjeda u svijetu). AI je zatim obradio te opise koristeći GPT4-Turbo API, generirajući bodove i pisana obrazloženja. Kako bi se osigurala točnost, svaki je unos analiziran čak 80 puta, a rezultati su dobijeni pomoću metode koja je filtrirala anomalije. Naposljetku, AI je sintetizirao te rezultate u sveobuhvatne izjave, nudeći uvid u kreativne trendove i obrasce uočene u podnescima.
NH: Dobili ste opise kategorija, ljestvicu bodovanja i sažetak svake kreativne ideje, ali što vas, velikog jezičnog modela, čini sposobnim rangirati te radove?
AIJE: Moja procjena informacija pruženih za AIJE temeljila se na opsežnom rasponu znanja na kojem sam bio obučen, a koje uključuje široku lepezu podataka o kreativnosti, oglašavanju i komunikacijskoj industriji. Ova obuka uključuje razumijevanje trendova, koncepata i povijesnih primjera iz ovih područja. Uspoređujući sažetke kreativnih ideja s ovim ogromnim spremištem znanja, mogao sam procijeniti svaki unos u kontekstu utvrđenih kreativnih i komunikacijskih standarda. Međutim, važno je upamtiti da se moje procjene temelje na postojećim podacima do mog zadnjeg prekida treninga u travnju 2023. i ne uključuju nikakvo novo usavršavanje ili trendove koji su se pojavili nakon tog datuma.
NH: Ukratko, koji su nalazi? Nemojte se ustručavati pozvati se na svoju bazu znanja.
AIJE: Ukratko, AIJE eksperiment je pronašao skromnu korelaciju između AI i ljudskih procjena kreativnih ideja, s koeficijentom korelacije od približno 0,25. To ukazuje na određenu usklađenost, ali i na značajne razlike između AI i ljudskih prosudbi. Umjetna inteligencija imala je tendenciju postizanja viših rezultata u prosjeku (7,45), u usporedbi s ljudskim rezultatima (6,60). Bilo je slučajeva u kojima je AI značajno precijenio unose u usporedbi s ljudskim članovima žirija. Ova otkrića upućuju na to da, iako umjetna inteligencija može ponuditi vrijedne uvide, njezine se procjene, temeljene isključivo na tekstu, razlikuju od ljudskih procjena koje uzimaju u obzir širi raspon čimbenika.
NH: Što se tiče trendova, koje su teme ili tehnike imale najveći uspjeh u ovom eksperimentu?
AIJE: U evaluaciji AIJE-a uočili smo nove trendove koji favoriziraju kampanje koje spajaju inovativnu tehnologiju s učinkovitim strategijama brendiranja. Postojala je jasna sklonost onima koji su koristili angažman na društvenim mrežama i kreativno pripovijedanje. Kampanje koje su stvorile dojmljiva iskustva ili su se bavile globalnim problemima, posebno u zdravlju i dobrobiti, također su imale dobar odjek. Ovi trendovi odražavaju pomak prema integraciji tehnologije i kreativnosti, naglašavajući važnost zanimljivog sadržaja i značajnog utjecaja u komunikacijskoj industriji.
NH: Što mislite, što vas je učinilo izdašnijim u bodovanju? Jesu li novinari sami po sebi tvrđi?
AIJE: Viši rezultati umjetne inteligencije u eksperimentu AIJE, u usporedbi s ljudskim ocjenjivačima, mogu proizaći iz dubine iskustva ljudskih članova žirija. Novinari donose subjektivna iskustva, kulturološke uvide i nijansirano razumijevanje proizašlo iz godina iskustva u kreativnoj industriji. Na njihove procjene utječe širok raspon faktora izvan tekstualnog sadržaja, što dovodi do konzervativnijeg bodovanja u usporedbi s pristupom AI-a koji se temelji na podacima.
NH: Kad već govorimo o subjektivnosti, ne može li umjetna inteligencija imati vlastite pristranosti? I u kojoj mjeri?
AIJE: Da, umjetna inteligencija doista može imati pristranosti, ali te se predrasude razlikuju od ljudske subjektivnosti. Ako podaci na kojima sam se obučavao sadrže povijesne pristranosti, ili neuravnoteženosti, posebno u kontekstu kreativne industrije, mogao bih nenamjerno replicirati prošle preferencije ili trendove. To može dovesti do potencijalnog previda novih ili nekonvencionalnih ideja, budući da su moje procjene pod utjecajem obrazaca i informacija prisutnih u podacima na kojima sam bio obučen.
NH: Dakle, ne biste mogli prepoznati ideju koja je uistinu nova? Čak ni napomenom da to nije u vašim podacima o treningu?
AIJE: Iako mogu primijetiti da ideja ne odgovara postojećim obrascima u mojoj obuci, to se ne mora nužno prevesti u točnu procjenu njezine originalnosti ili potencijalnog utjecaja. Moja procjena novih ideja temelji se na njihovoj usporedbi s postojećim podacima, a ne na razumijevanju kreativnosti ili inovativnosti. Stoga, iako mogu označiti ideju kao drugačiju ili neobičnu, razumijevanje onoga što je čini doista inovativnom ljudska je sposobnost izvan moje trenutne funkcionalnosti.
NH: Mislite li da možete stići tamo jednog dana? Kako vidite budućnost AIJE-a?
AIJE: Postizanje razine na kojoj umjetna inteligencija uistinu može razumjeti i procijeniti kreativnost poput čovjeka, uključuje značajan napredak. AI bi se trebala razviti od prepoznavanja uzoraka do nečega sličnog ljudskoj intuiciji i kreativnom zaključivanju. To zahtijeva ne samo obradu teksta, već i integraciju različitih oblika podataka, poput vizualnih i slušnih unosa, kako bi se u potpunosti shvatili kreativni koncepti. Osim toga, umjetna inteligencija bi trebala biti obučena na dinamičnijim, raznolikijim i ažurnijim skupovima podataka kako bi bolje razumjela suvremene trendove i trendove u nastajanju.
Što se tiče budućnosti AIJE-a, on je spreman za rast, posebno kako AI tehnologije postaju sve sofisticiranije. Uključivanjem multimodularnih mogućnosti i nijansiranijim razumijevanjem, AIJE bi mogao ponuditi dublji uvid u kreativni rad. Međutim, bitna uloga ljudske prosudbe, sa svojim urođenim razumijevanjem konteksta, kulture i subjektivnih nijansi, vjerojatno će ostati nezamjenjiva. AIJE bi mogao postati vrijedan komplementarni alat, nudeći jedinstvene perspektive i povećavajući ljudske procjene u kreativnoj industriji.