drag_gost wrote: ↑19/09/2025 05:39
zilog wrote: ↑18/09/2025 14:37
nikeze wrote: ↑18/09/2025 13:56
Neosporan je uspjeh vještačke inteligencije i u slučaju prevođenja teksta ili govora na bilo koji jezik je dosegla vrhunac.
Međutim, vještačka inteligencija uči repeticijom, a ne kao djeca intuicijom.
Nedostaje joj svijest o vlastitom postojanju, osjećaji i sjećanja.
Nedostaju joj neke od osnovnih osobina ljudskog mozga : mašta, intuicija i imaginacija.
Još uvijek nije ništa samostalno izumila kao što su naučnici u sferi kvantne mehanike i teorijske fizike gdje se zapravo rade pomaci u nauci.
Ipak, ide dalje napredak je impresivan, ali trenutno je to skup algoritama koje neki zovu "stohastički papagaj".
Ne ocekujes valjda, da ce ChatGPT od 20$ mjesecno, praviti proboje u sferi kvantne mehanike?
Nece, jos uvijek, ni laboratorijski modeli, ali je napredak dramatican. Ove godine su OpenAI i Google modeli osvojili zlatne medalje na Medjunarodnoj Matematickoj Olimpijadi. Kada LLM-ovi, suvereno zavladaju vrhunskom matematikom, moci cemo ocekivati i proboje u sferi fizike.
Sto se tice intuicije i imaginacije, da bolje upoznas kako funkcionisu LLM-ovi (pokrenes neki lokalni LLM), vidio bi da su i intuicija i imaginacija, itekako prisutni (kontrolisani sa nekoliko parametara: temperatura, max p, ...). Cak su i problematicni, zbog "haluciniranja".
Nevjerovatna je kolicina slicnosti, izmedju masinskog i ljudskog nacina ucenja i rezonovanja. Ljudi su mnogo efikasniji i uce na manjem broju primjera, ali masine imaju prednost brzine i paralelizacije. Osim toga i algoritmi ucenja, napreduju iz dana u dan...
Deepmind jeste presao zlatni prag (35/42 bod, odnosno 5/6 zadataka), ali nikakvu medalju nije osvojio. OpenAI je presao zlatni prag u tvrdnji njihovih naucnika, ali to nije potvrdjeno od zvanicnog komiteta. To sto ti pises nisu intuicija, niti imaginacija, vec matematicki mehanizmi iz probability distribucije. Metaforicki jedino mozemo reci da su intuicija i imaginacija. Haluciranje nastaje zbog drugih stvari, previse treniranja na homogenim setovima, itd. Top-K, Top-P, temperatura uticu na ucestalost i tip halucinacija, ali nisu uzrok. Halucinacija se moze pojaviti i na maloj temperaturi ako je model nije naucio dobru generalizaciju.
Bez detaljnog "fact checking-a", sam odgovorio na laicke netacnosti iz citiranog posta, pa je sasvim zasluzeno, da se i mene poklopi "ispravkom netacnih navoda".
Istina je, da su navodi o IMO medaljama vjerovatno PR usminkani (u pitanju su milijarde), ali cu se osloniti na optimizam, koji pokazuje Terence Tao.
I bez IMO PR stunt-a, napredak je dramatican. Prije nekoliko mjeseci mi je o3 (high) odradio lavovski dio posla za parametarsku, polinomijalnu regresiju, kroz analiticku inverziju Hankelovih matrica, koeficijenata Faulhaberovih jednacina, do reda 8. Tako nesto se ne moze naci na internetu.
Naravno da parametri, poput temperature, samo metaforicki odrazavaju intuiciju i imaginaciju, inace bi se zvali - intuition/imagination.
Mi zapravo ne znamo tacan mehanizam ljudske intuicije, ali ja vjerujem da ga je moguce oponasati, sto kroz LLM-ove, sto kroz druge "pattern recognition" mehanizme, koji su doveli do nezamislivih monstruma tipa Alpha Zero.
Ne znamo, pouzdano, ni uzrok halucinacija. Neki dan je OpenAI objavio papir, po kojem su halucinacije prouzrokovane pogresnom reward funkcijom, u toku treninga (nagrada za nagadjanje).
Posto, definitivno, znas vise od mene u oblasti funkcionisanja modela, a nedostaje nam tema o lokalnim AI modelima, da li bi otvorio takvu temu?
Ja cu se rado ukljuciti...