zilog wrote: ↑19/09/2025 13:01
drag_gost wrote: ↑19/09/2025 05:39
zilog wrote: ↑18/09/2025 14:37
Ne ocekujes valjda, da ce ChatGPT od 20$ mjesecno, praviti proboje u sferi kvantne mehanike?
Nece, jos uvijek, ni laboratorijski modeli, ali je napredak dramatican. Ove godine su OpenAI i Google modeli osvojili zlatne medalje na Medjunarodnoj Matematickoj Olimpijadi. Kada LLM-ovi, suvereno zavladaju vrhunskom matematikom, moci cemo ocekivati i proboje u sferi fizike.
Sto se tice intuicije i imaginacije, da bolje upoznas kako funkcionisu LLM-ovi (pokrenes neki lokalni LLM), vidio bi da su i intuicija i imaginacija, itekako prisutni (kontrolisani sa nekoliko parametara: temperatura, max p, ...). Cak su i problematicni, zbog "haluciniranja".
Nevjerovatna je kolicina slicnosti, izmedju masinskog i ljudskog nacina ucenja i rezonovanja. Ljudi su mnogo efikasniji i uce na manjem broju primjera, ali masine imaju prednost brzine i paralelizacije. Osim toga i algoritmi ucenja, napreduju iz dana u dan...
Deepmind jeste presao zlatni prag (35/42 bod, odnosno 5/6 zadataka), ali nikakvu medalju nije osvojio. OpenAI je presao zlatni prag u tvrdnji njihovih naucnika, ali to nije potvrdjeno od zvanicnog komiteta. To sto ti pises nisu intuicija, niti imaginacija, vec matematicki mehanizmi iz probability distribucije. Metaforicki jedino mozemo reci da su intuicija i imaginacija. Haluciranje nastaje zbog drugih stvari, previse treniranja na homogenim setovima, itd. Top-K, Top-P, temperatura uticu na ucestalost i tip halucinacija, ali nisu uzrok. Halucinacija se moze pojaviti i na maloj temperaturi ako je model nije naucio dobru generalizaciju.
Bez detaljnog "fact checking-a", sam odgovorio na laicke netacnosti iz citiranog posta, pa je sasvim zasluzeno, da se i mene poklopi "ispravkom netacnih navoda".
Istina je, da su navodi o IMO medaljama vjerovatno PR usminkani (u pitanju su milijarde), ali cu se osloniti na optimizam, koji pokazuje Terence Tao.
I bez IMO PR stunt-a, napredak je dramatican. Prije nekoliko mjeseci mi je o3 (high) odradio lavovski dio posla za parametarsku, polinomijalnu regresiju, kroz analiticku inverziju Hankelovih matrica, koeficijenata Faulhaberovih jednacina, do reda 8. Tako nesto se ne moze naci na internetu.
Naravno da parametri, poput temperature, samo metaforicki odrazavaju intuiciju i imaginaciju, inace bi se zvali - intuition/imagination.
Mi zapravo ne znamo tacan mehanizam ljudske intuicije, ali ja vjerujem da ga je moguce oponasati, sto kroz LLM-ove, sto kroz druge "pattern recognition" mehanizme, koji su doveli do nezamislivih monstruma tipa Alpha Zero.
Ne znamo, pouzdano, ni uzrok halucinacija. Neki dan je OpenAI objavio papir, po kojem su halucinacije prouzrokovane pogresnom reward funkcijom, u toku treninga (nagrada za nagadjanje).
Posto, definitivno, znas vise od mene u oblasti funkcionisanja modela, a nedostaje nam tema o lokalnim AI modelima, da li bi otvorio takvu temu?
Ja cu se rado ukljuciti...
Ma nije ideja da "poklopim", samo evo preko 15 godina radim sa ovim, tako da znam da su ti pokusaji sa zlatnim pragom vise postali tradicija. Bilo je sitnih pomaka kroz sve ove godine, pocevsi od AlexNet-a, pa image recognition patterna, medjutim najveci proboj je Transformer arhitektura nekada godinu-dvije prije covida, odnosno tokenizacija rijeci sa paznjom (Attention is all you need) - bitnosti. Prebacivanje sa CPU na GPU i olaksano horizontalno skaliranje. Ima tu finih pomaka i sa LoRa arhitekturom. Znamo tacno sta izaziva halucinacije i kako ih sprijeciti, evo ja ih sada na Sagemakeru imam koliko hoces i znam sta je problem.
Ono sto mislim da ce biti sljedeci veliki pomak ce biti unaprijedjenje limita broja tokena u LLM. LLM-ovi danas mogu maksimalno imati 128k tokena, dakle jedan token je 3/4 engleske rijeci, sto je otprilike do 300 stranica knjige. Zato imamo vektorske baze, kao npr Chroma, Pinecone, i drugi sa kojima prevailazimo taj limit, medjutim to je workaround. Umjesto cuvanja tokena, ona cuva vektorske prezentacije, odnosno matematicke nizove koji predstavljaju odredjeno znacenje inputa (tekst, slika, zvuk). To se naziva embeddings. Dakle, kontekstualni limit tokena je kratkorocno pamcenje, a vektorska baza je biblioteka, odnosno dugorocno pamcenje. To smanjuje i halucinacije, model dobija tacne reference. Ono sto ce biti najveci napredak tu u odnosu na kratkorocnu i dugorocnu memoriju, to je trajna memorija. Dakle, da se probije taj limit od 128k tokena, sto bi uspjesno imitiralo ljudsko pamcenje. Model bi imao kontinuitet, pamtio bi ono sto je bitno, odnosno "zaboravljao" ono sto je nebitno. Vektorska baza je sada pomocni tool, sluzi za pretrazivanje, ali nije dio modela. U praksi, zbog tog limita od 128k tokena, desava se da model zaboravi nesto, pa ga moras podsjecati. Dakle, nema kontinuitet. Sa tehnicke strane, zasto je limit bas od 128k tokena? U Transformer arhitekturi svaki token gleda u sve ostale tokene, dakle formula je O(n²), odnosno 128k x 128k, sto je vise od 16 milijardi. O(n²) se odnosi na vremensku i memorijsku kompleksnost. 128k je prakticni kompromis, jer se GPU trosi kvadratno (doslovno), memorija se pojede. Radi se na tome da se napravi nova attention arhitektura ili da se attention algoritmi poboljsaju, odnosno da ne budu O(n²). Ima trikova sa Flash Attention algoritmom koji to uspjeva djelimicno da rijesi. To ce vjerovatno biti sljedeci veliki korak i kada se to desi, opet necemo imati Terminatora, nego cemo imati korisnijeg AI asistenta koji ce imati trajniju (nadam se) memoriju i moci ce da pamti historiju, koristi sentiment analizu (NLP) bez velikih fizickih limitacija.
Moj savjet je da koristite AI, olaksace vam zivot i zato je tu. To je pomocni alat i ako Bog da pomoci ce covjecanstvu u rjesavanju nekih bolesti koje su danas neizljecive. Istina je da ima tu velikih eticnih izazova sa AI-jem. Dacu primjer. Ukoliko bi imao AI Agenta koji prepoznaje tvoje obrazce ponasanja i bez limita uspjesno primjenjuje NLP za klasifikaciju tvojih emocija, onda poznavajuci tvoje emocije postavlja se pitanje koliko moze da manipulise sa tobom. To je mac sa dvije ostrice. Etika je jedno od najdubljih pitanja za buducnost AI-ja. Mislim da razvoj nece sprijeciti, ali ga hoce usporiti, usmjeriti i kontrolisati.
Odoh podaleko, sori... mogu o ovome danima. Uglavnom, nece nas AI ubiti prije nego sami sebe ne poubijamo. Razumijem strah, ali on dolazi iz nerazumjevanja uglavnom. AI ce zaista da izbaci nove poslove.
Otvori temu molim te..., evo kod mene sada pola 12 navecer... slomljen sam.
