Forum Klix.ba

Ponukan diskusijom sa @drag_gost na temi ChatGPT...

Pozdrav svima,

Dobrodošli u zvaničnu temu za diskusiju o svemu što se tiče Lokalnih AI modela!

Sa eksplozijom umjetne inteligencije, mnogi od nas su navikli na servise poput ChatGPT-a, Gemini-a ili Midjourney-a, koji rade na ogromnim serverima u oblaku (cloudu). Međutim, postoji svijet moćnih AI modela koji se brzo razvija, a koje možete pokrenuti direktno na svom računaru. Upravo o tome se radi u ovoj temi!

Šta je "Lokalni AI"?
Jednostavno rečeno, to je AI model (poput Velikog jezičkog modela - LLM) koji preuzmete i pokrenete direktno na vlastitom hardveru—vašem PC-u, Mac-u ili čak Raspberry Pi-ju! Ovaj pristup nudi neke nevjerovatne prednosti:

• Potpuna privatnost: Vaši podaci i razgovori nikada ne napuštaju vašu mašinu. Niko ne trenira modele na vašim podacima.
• Bez cenzure i puna kontrola: Vi kontrolišete model, njegove parametre i kako se ponaša.
• Offline pristup: Nemate internet? Nema problema! Vaš AI radi bilo kada i bilo gdje.
• Isplativost: Jednom kada imate hardver, pokretanje modela je besplatno. Nema pretplata ili plaćanja po tokenu.
• Duboko prilagođavanje: Možete fino podešavati (fine-tune), spajati i eksperimentisati s modelima kako biste stvorili nešto zaista jedinstveno.

---

O čemu možemo diskutovati ovdje?

Ova tema je prostor za dijeljenje znanja, postavljanje pitanja i međusobnu pomoć. Hajde da razgovaramo o:

• Modelima: Koje modele koristite? GPT OSS, Qwen3, DeepSeek R, Llama 3, Mistral, Phi-3, Stable Diffusion? Diskutujmo o njihovim prednostima i manama.
• Hardverskim konfiguracijama: Na čemu ih pokrećete? Podijelite vaše GPU (NVIDIA, AMD, Apple Silicon), CPU i RAM konfiguracije. Koliko VRAM-a je *zaista* dovoljno?
• Softveru i alatima: Koji vam je omiljeni front-end? Ollama, LM Studio, Oobabooga's WebUI, KoboldCpp, ComfyUI?
• Slučajevima upotrebe i zanimljivim projektima: Za šta koristite lokalni AI? Kreativno pisanje, pomoć pri kodiranju, sažimanje dokumenata, generisanje slika ili nešto potpuno drugo?
• Tehničkim stvarima: Savjeti o kvantizaciji (poput GGUF/AWQ), finom podešavanju (fine-tuning), RAG-u (Retrieval-Augmented Generation) i postizanju najboljih performansi.
• Rješavanju problema i pomoći: Zapeli ste pri instalaciji? Dobijate čudne rezultate? Objavite svoj problem ovdje i riješimo ga zajedno.

---

Novi ste u ovome? Evo kako početi!

Osjećate se pomalo preplavljeno? Ne brinite! Početi je lakše nego ikad. Odličan prvi korak je preuzimanje user-friendly aplikacije kao što su LM Studio ili Ollama.

Ovi alati vam omogućavaju da lako preuzmete i razgovarate s popularnim modelima bez potrebe za korištenjem komandne linije. Dobar prvi model za isprobati je nešto malo i sposobno, poput 'gpt-oss-20b', `Mistral 7B Instruct` ili `Llama 3 8B Instruct`. Rade dobro na širokom spektru modernog hardvera.

---

Dakle, hajde da započnemo razgovor!

Kakav je vaš trenutni setup za lokalni AI? Koji model vas je najviše impresionirao u posljednje vrijeme?

Radujem se vašim odgovorima!

Svaka cast, rado cu se ukljuciti i pokusacu "obicnim jezikom" da objasnim materiju, tako da je bez nekog velikog tehnickog znanja svi razumiju. Nije to toliko strasno kao sto sales ljudi pokusavaju da predstave (jos nesto sto me nervira ).

@zilog , jesi li se igrao sa agentic ai-jem?

Lokalni modeli na prosjecnim uredjajima koji vecina koriste su na nivou petogodisnjeg djeteta ukoliko se uporede sa javno dostupnim besplatnim AI modelima.

drag_gost wrote: ↑20/09/2025 11:28 @zilog , jesi li se igrao sa agentic ai-jem?

Nisam jos stigao, ali imam zelju.

Sta preporucujes za coding (repozitorij sa dosta C i CUDA kofa)? Fine tuning. ili RAG? Koji chunker?

Pošto sam u fazi sastavljanja novog desktop računara, koje bi bile preporučene komponente za lokalno pokretani AI?

Ima li nešto na šta treba posebno usmjeravati sredstva za nabavku?

Ili da, jednostavno, uzmem sve trenutno najbolje?

Malisa11 wrote: ↑20/09/2025 11:30 Lokalni modeli na prosjecnim uredjajima koji vecina koriste su na nivou petogodisnjeg djeteta ukoliko se uporede sa javno dostupnim besplatnim AI modelima.

Lokalni AI modeli, koliko god mali i slabi bili, imaju svoju svrhu i moguce ih je korisno upotrijebiti na razne nacine, vrlo razlicite od velikih cloud modela.
Kakvu masinu koristis?

Seawolf wrote: ↑20/09/2025 16:15 Pošto sam u fazi sastavljanja novog desktop računara, koje bi bile preporučene komponente za lokalno pokretani AI?

Ima li nešto na šta treba posebno usmjeravati sredstva za nabavku?

Ili da, jednostavno, uzmem sve trenutno najbolje?

Zavisi koliki ti je budzet?

Ako ne mozes dobaciti do AMD Strix Halo - AMD Ryzen AI Max+ 395 sa 128GB (sweet spot za nekih 2000$),
https://strixhalo-homelab.d7.wtf/

pokusaj ubaciti Nvidia RTX-5060Ti sa 16 GB VRAM-a i sto vise brze DDR5 memorije.

zilog wrote: ↑20/09/2025 16:22

Seawolf wrote: ↑20/09/2025 16:15 Pošto sam u fazi sastavljanja novog desktop računara, koje bi bile preporučene komponente za lokalno pokretani AI?

Ima li nešto na šta treba posebno usmjeravati sredstva za nabavku?

Ili da, jednostavno, uzmem sve trenutno najbolje?

Zavisi koliki ti je budzet?

Ako ne mozes dobaciti do AMD Strix Halo - AMD Ryzen AI Max+ 395 sa 128GB (sweet spot za nekih 2000$),
https://strixhalo-homelab.d7.wtf/

pokusaj ubaciti Nvidia RTX-5060Ti sa 16 GB VRAM-a i sto vise brze DDR5 memorije.

Da prostiš, na koju matičnu ploču ide ovaj tvoj AMD Ryzen™ Al Max+ 395?

Ili taj procesor ide na grafičku?

Seawolf wrote: ↑20/09/2025 16:29

zilog wrote: ↑20/09/2025 16:22

Seawolf wrote: ↑20/09/2025 16:15 Pošto sam u fazi sastavljanja novog desktop računara, koje bi bile preporučene komponente za lokalno pokretani AI?

Ima li nešto na šta treba posebno usmjeravati sredstva za nabavku?

Ili da, jednostavno, uzmem sve trenutno najbolje?

Zavisi koliki ti je budzet?

Ako ne mozes dobaciti do AMD Strix Halo - AMD Ryzen AI Max+ 395 sa 128GB (sweet spot za nekih 2000$),
https://strixhalo-homelab.d7.wtf/

pokusaj ubaciti Nvidia RTX-5060Ti sa 16 GB VRAM-a i sto vise brze DDR5 memorije.

Da prostiš, na koju matičnu ploču ide ovaj tvoj AMD Ryzen™ Al Max+ 395?

Ili taj procesor ide na grafičku?

To je procesor sa solidnom integrisanom grafikom i vrlo brzim pristupom memoriji, koji ide u mini PC-je, poput:
https://strixhalo-homelab.d7.wtf/Hardwa ... rk-Desktop
https://strixhalo-homelab.d7.wtf/Hardwa ... tec-EVO-X2
https://strixhalo-homelab.d7.wtf/Hardwa ... 2-Mini-G1a

Procitaj ovo:
https://strixhalo-homelab.d7.wtf/AI/AI- ... s-Overview

zilog wrote: ↑20/09/2025 16:43

Seawolf wrote: ↑20/09/2025 16:29

zilog wrote: ↑20/09/2025 16:22

Zavisi koliki ti je budzet?

Ako ne mozes dobaciti do AMD Strix Halo - AMD Ryzen AI Max+ 395 sa 128GB (sweet spot za nekih 2000$),
https://strixhalo-homelab.d7.wtf/

pokusaj ubaciti Nvidia RTX-5060Ti sa 16 GB VRAM-a i sto vise brze DDR5 memorije.

Da prostiš, na koju matičnu ploču ide ovaj tvoj AMD Ryzen™ Al Max+ 395?

Ili taj procesor ide na grafičku?

To je procesor sa solidnom integrisanom grafikom i vrlo brzim pristupom memoriji, koji ide u mini PC-je, poput:
https://strixhalo-homelab.d7.wtf/Hardwa ... rk-Desktop
....

Koliko je ovo sa tvog linka dobro za gaming?

Ili, da preokrenem pitanje: Koliko je kombinacija AMD Ryzen 9 9950X3D + G.Skill Trident Z5 Neo RGB 96 GB (2 x 48 GB) DDR5-6000 CL28 + Asus TUF GAMING GeForce RTX 5090 32 GB, lošija za AI lokalno izvođenje od ovoga na šta si postavio link?

Seawolf wrote: ↑20/09/2025 17:08

zilog wrote: ↑20/09/2025 16:43

Seawolf wrote: ↑20/09/2025 16:29
Da prostiš, na koju matičnu ploču ide ovaj tvoj AMD Ryzen™ Al Max+ 395?

Ili taj procesor ide na grafičku?

To je procesor sa solidnom integrisanom grafikom i vrlo brzim pristupom memoriji, koji ide u mini PC-je, poput:
https://strixhalo-homelab.d7.wtf/Hardwa ... rk-Desktop
....

Koliko je ovo sa tvog linka dobro za gaming?

Ili, da preokrenem pitanje: Koliko je kombinacija AMD Ryzen 9 9950X3D + G.Skill Trident Z5 Neo RGB 96 GB (2 x 48 GB) DDR5-6000 CL28 + Asus TUF GAMING GeForce RTX 5090 32 GB, lošija za AI lokalno izvođenje od ovoga na šta si postavio link?

Kazu da je AMD Ryzen™ Al Max+ 395 sasvim solidan za gaming. Naravno, ne moze ni primirisati RTX 5090.

RTX 5090 je zvijer (kao i cijela konfiguracija) sa 32 GB VRAM-a, 1,7 TB/s BW i preko 20.000 CUDA jezgri. Idealno za training manjih modela, ali moze zafaliti za smjestaj neceg veceg, pa ces tada morati raditi u hibridnom rezimu (GPU+CPU).

U svakom slucaju, dileme nema, konfiguracija sa 5090 je win, po cijenu da se moras malo strpiti sa vecim modelima...

zilog wrote: ↑20/09/2025 17:29

Seawolf wrote: ↑20/09/2025 17:08

zilog wrote: ↑20/09/2025 16:43

To je procesor sa solidnom integrisanom grafikom i vrlo brzim pristupom memoriji, koji ide u mini PC-je, poput:
https://strixhalo-homelab.d7.wtf/Hardwa ... rk-Desktop
....

Koliko je ovo sa tvog linka dobro za gaming?

Ili, da preokrenem pitanje: Koliko je kombinacija AMD Ryzen 9 9950X3D + G.Skill Trident Z5 Neo RGB 96 GB (2 x 48 GB) DDR5-6000 CL28 + Asus TUF GAMING GeForce RTX 5090 32 GB, lošija za AI lokalno izvođenje od ovoga na šta si postavio link?

Kazu da je AMD Ryzen™ Al Max+ 395 sasvim solidan za gaming. Naravno, ne moze ni primirisati RTX 5090.

RTX 5090 je zvijer (kao i cijela konfiguracija) sa 32 GB VRAM-a, 1,7 TB/s BW i preko 20.000 CUDA jezgri. Idealno za training manjih modela, ali moze zafaliti za smjestaj neceg veceg, pa ces tada morati raditi u hibridnom rezimu (GPU+CPU).

U svakom slucaju, dileme nema, konfiguracija sa 5090 je win, po cijenu da se moras malo strpiti sa vecim modelima...

O.K. Onda ću ići na ovo kako sam zamislio.

I to te pitam: Kako se 96 GB DDR5-6000 CL28 radne memorije i 32 GB video memorije adresiraju i koriste za AI lokalno izvođenje, na način da se postigne efekat kao 128 GB koje idu uz AMD Ryzen™ Al Max+ 395?

Seawolf wrote: ↑20/09/2025 17:35

zilog wrote: ↑20/09/2025 17:29

Seawolf wrote: ↑20/09/2025 17:08
Koliko je ovo sa tvog linka dobro za gaming?

Ili, da preokrenem pitanje: Koliko je kombinacija AMD Ryzen 9 9950X3D + G.Skill Trident Z5 Neo RGB 96 GB (2 x 48 GB) DDR5-6000 CL28 + Asus TUF GAMING GeForce RTX 5090 32 GB, lošija za AI lokalno izvođenje od ovoga na šta si postavio link?

Kazu da je AMD Ryzen™ Al Max+ 395 sasvim solidan za gaming. Naravno, ne moze ni primirisati RTX 5090.

RTX 5090 je zvijer (kao i cijela konfiguracija) sa 32 GB VRAM-a, 1,7 TB/s BW i preko 20.000 CUDA jezgri. Idealno za training manjih modela, ali moze zafaliti za smjestaj neceg veceg, pa ces tada morati raditi u hibridnom rezimu (GPU+CPU).

U svakom slucaju, dileme nema, konfiguracija sa 5090 je win, po cijenu da se moras malo strpiti sa vecim modelima...

O.K. Onda ću ići na ovo kako sam zamislio.

I to te pitam: Kako se 96 GB DDR5-6000 CL28 radne memorije i 32 GB video memorije adresiraju i koriste za AI lokalno izvođenje, na način da se postigne efekat kao 128 GB koje idu uz AMD Ryzen™ Al Max+ 395?

Ovako, AMD Ryzen™ Al Max+ 395 sa 128 GB ima unificiranu LPDDR6X 8000 MT/s memoriju, zalemljenu za MB, koja u VRAM rezimu radi sa 256 bita pristupa (radi kao 4 kanalna DDR5-8000), koju mozes setovati da dinamicki dodjeljuje potrebnu kolicinu VRAM-a. Kada to podesis, llama.cpp (ili ekvivalent) se brine o ostalim stvarima.

Slicno je i sa 5090 konfiguracijom, LM Studio, ili ollama (u sustini llama.cpp) se podese, da dio layer-a smjeste u GPU, a ostalo u mnogo sporiji dvo kanalni CPU RAM.

Nije idealno, ali kao sto rekoh - nema dileme...
Usporedba je izmedju 2000 i 4000$ konfiguracija, kao Caddy i Porsche sa prikolicom...

zilog wrote: ↑20/09/2025 17:59

Seawolf wrote: ↑20/09/2025 17:35

zilog wrote: ↑20/09/2025 17:29

Kazu da je AMD Ryzen™ Al Max+ 395 sasvim solidan za gaming. Naravno, ne moze ni primirisati RTX 5090.

RTX 5090 je zvijer (kao i cijela konfiguracija) sa 32 GB VRAM-a, 1,7 TB/s BW i preko 20.000 CUDA jezgri. Idealno za training manjih modela, ali moze zafaliti za smjestaj neceg veceg, pa ces tada morati raditi u hibridnom rezimu (GPU+CPU).

U svakom slucaju, dileme nema, konfiguracija sa 5090 je win, po cijenu da se moras malo strpiti sa vecim modelima...

O.K. Onda ću ići na ovo kako sam zamislio.

I to te pitam: Kako se 96 GB DDR5-6000 CL28 radne memorije i 32 GB video memorije adresiraju i koriste za AI lokalno izvođenje, na način da se postigne efekat kao 128 GB koje idu uz AMD Ryzen™ Al Max+ 395?

Ovako, AMD Ryzen™ Al Max+ 395 sa 128 GB ima unificiranu LPDDR6X 8000 MT/s memoriju, zalemljenu za MB, koja u VRAM rezimu radi sa 256 bita pristupa (radi kao 4 kanalna DDR5-8000), koju mozes setovati da dinamicki dodjeljuje potrebnu kolicinu VRAM-a. Kada to podesis, llama.cpp (ili ekvivalent) se brine o ostalim stvarima.

Slicno je i sa 5090 konfiguracijom, LM Studio, ili ollama (u sustini llama.cpp) se podese, da dio layer-a smjeste u GPU, a ostalo u mnogo sporiji dvo kanalni CPU RAM.

Nije idealno, ali kao sto rekoh - nema dileme...
Usporedba je izmedju 2000 i 4000$ konfiguracija...

Samo što ova tvoja $2.000 konfiguracija ne može izvršavati MS Flight Simulator 2024 na rezoluciji 4K, sa minimalno 120 fps i svim grafičkim postavkama na maksimalno, a moja može

Držat ću se ja ove svoje konfiguracije, pa kad je sklopim, javit ću ti se za preporuke za optimizaciju za izvršavanje lokalnog AI modela.

Al zato nema pretplate

Seawolf wrote: ↑20/09/2025 18:14

zilog wrote: ↑20/09/2025 17:59

Seawolf wrote: ↑20/09/2025 17:35
O.K. Onda ću ići na ovo kako sam zamislio.

I to te pitam: Kako se 96 GB DDR5-6000 CL28 radne memorije i 32 GB video memorije adresiraju i koriste za AI lokalno izvođenje, na način da se postigne efekat kao 128 GB koje idu uz AMD Ryzen™ Al Max+ 395?

Ovako, AMD Ryzen™ Al Max+ 395 sa 128 GB ima unificiranu LPDDR6X 8000 MT/s memoriju, zalemljenu za MB, koja u VRAM rezimu radi sa 256 bita pristupa (radi kao 4 kanalna DDR5-8000), koju mozes setovati da dinamicki dodjeljuje potrebnu kolicinu VRAM-a. Kada to podesis, llama.cpp (ili ekvivalent) se brine o ostalim stvarima.

Slicno je i sa 5090 konfiguracijom, LM Studio, ili ollama (u sustini llama.cpp) se podese, da dio layer-a smjeste u GPU, a ostalo u mnogo sporiji dvo kanalni CPU RAM.

Nije idealno, ali kao sto rekoh - nema dileme...
Usporedba je izmedju 2000 i 4000$ konfiguracija...

Samo što ova tvoja $2.000 konfiguracija ne može izvršavati MS Flight Simulator 2024 na rezoluciji 4K, sa minimalno 120 fps i svim grafičkim postavkama na maksimalno, a moja može

Držat ću se ja ove svoje konfiguracije, pa kad je sklopim, javit ću ti se za preporuke za optimizaciju za izvršavanje lokalnog AI modela.

Da moze, svi bi uzimali onu od 2000$...

Jeste malo kao izbor izmedju Caddy-a i Porsche-a sa prikolicom, ali nema dileme...

zilog wrote: ↑20/09/2025 18:26

Seawolf wrote: ↑20/09/2025 18:14

zilog wrote: ↑20/09/2025 17:59

Ovako, AMD Ryzen™ Al Max+ 395 sa 128 GB ima unificiranu LPDDR6X 8000 MT/s memoriju, zalemljenu za MB, koja u VRAM rezimu radi sa 256 bita pristupa (radi kao 4 kanalna DDR5-8000), koju mozes setovati da dinamicki dodjeljuje potrebnu kolicinu VRAM-a. Kada to podesis, llama.cpp (ili ekvivalent) se brine o ostalim stvarima.

Slicno je i sa 5090 konfiguracijom, LM Studio, ili ollama (u sustini llama.cpp) se podese, da dio layer-a smjeste u GPU, a ostalo u mnogo sporiji dvo kanalni CPU RAM.

Nije idealno, ali kao sto rekoh - nema dileme...
Usporedba je izmedju 2000 i 4000$ konfiguracija...

Samo što ova tvoja $2.000 konfiguracija ne može izvršavati MS Flight Simulator 2024 na rezoluciji 4K, sa minimalno 120 fps i svim grafičkim postavkama na maksimalno, a moja može

Držat ću se ja ove svoje konfiguracije, pa kad je sklopim, javit ću ti se za preporuke za optimizaciju za izvršavanje lokalnog AI modela.

Da moze, svi bi uzimali onu od 2000$...

Jeste malo kao izbor izmedju Caddy-a i Porsche-a sa prikolicom, ali nema dileme...

Sviđa mi se tvoja metafora, no cjenovno nije odgovarajuća.

Porsche sa prikolicom je, naime, puno više nego samo dvostruko skuplji od Caddy-a.

Seawolf wrote: ↑20/09/2025 20:19

zilog wrote: ↑20/09/2025 18:26

Seawolf wrote: ↑20/09/2025 18:14
Samo što ova tvoja $2.000 konfiguracija ne može izvršavati MS Flight Simulator 2024 na rezoluciji 4K, sa minimalno 120 fps i svim grafičkim postavkama na maksimalno, a moja može

Držat ću se ja ove svoje konfiguracije, pa kad je sklopim, javit ću ti se za preporuke za optimizaciju za izvršavanje lokalnog AI modela.

Da moze, svi bi uzimali onu od 2000$...

Jeste malo kao izbor izmedju Caddy-a i Porsche-a sa prikolicom, ali nema dileme...

Sviđa mi se tvoja metafora, no cjenovno nije odgovarajuća.

Porsche sa prikolicom je, naime, puno više nego samo dvostruko skuplji od Caddy-a.

Istina...

Cekam taj screenshot za MSFS 2024 na 4K 120 fps

zilog wrote: ↑20/09/2025 20:34

Seawolf wrote: ↑20/09/2025 20:19

zilog wrote: ↑20/09/2025 18:26



Da moze, svi bi uzimali onu od 2000$...

Jeste malo kao izbor izmedju Caddy-a i Porsche-a sa prikolicom, ali nema dileme...

Sviđa mi se tvoja metafora, no cjenovno nije odgovarajuća.

Porsche sa prikolicom je, naime, puno više nego samo dvostruko skuplji od Caddy-a.

Istina...

Cekam taj screenshot za MSFS 2024 na 4K 120 fps

O.K.

Dobit ćeš ga.

zilog wrote: ↑20/09/2025 16:16

Malisa11 wrote: ↑20/09/2025 11:30 Lokalni modeli na prosjecnim uredjajima koji vecina koriste su na nivou petogodisnjeg djeteta ukoliko se uporede sa javno dostupnim besplatnim AI modelima.

Lokalni AI modeli, koliko god mali i slabi bili, imaju svoju svrhu i moguce ih je korisno upotrijebiti na razne nacine, vrlo razlicite od velikih cloud modela.
Kakvu masinu koristis?

Pitanje: Da li lokalni AI modeli snimaju neku bazu znanja sa interneta na lokalne diskove? Da kada je računar off-line mogu pristupiti nekoj bazi informacija koja bi im trebala da ispune zahtjeve korisnika računara.

Seawolf wrote: ↑21/09/2025 13:13

zilog wrote: ↑20/09/2025 16:16

Malisa11 wrote: ↑20/09/2025 11:30 Lokalni modeli na prosjecnim uredjajima koji vecina koriste su na nivou petogodisnjeg djeteta ukoliko se uporede sa javno dostupnim besplatnim AI modelima.

Lokalni AI modeli, koliko god mali i slabi bili, imaju svoju svrhu i moguce ih je korisno upotrijebiti na razne nacine, vrlo razlicite od velikih cloud modela.
Kakvu masinu koristis?

Pitanje: Da li lokalni AI modeli snimaju neku bazu znanja sa interneta na lokalne diskove? Da kada je računar off-line mogu pristupiti nekoj bazi informacija koja bi im trebala da ispune zahtjeve korisnika računara.

Evo ti kratak odgovor, a vjerujem da ce @drag_gost to mnogo bolje objasniti...

Modeli su te baze obradjenih informacija...

Mimo toga, sami od sebe - ne snimaju, kao sto ni cloud modeli to ne rade. Informacije koje se nalaze u modelu, su one koje su bile dostupne u trenutku treninga baznog modela, limitirane njegovom velicinom (mada bi se iznenadio koliko toga stane i u manje modele).

Upotrebom alata, neki modeli, mogu pristupiti internetu i potraziti informaciju, ali se to izbjegava jer dramaticno pocecava velicinu kontexta, a time trosi radnu memoriju (kvadrat velicine kontexta). Mnogo bolja alternativa je priprema baza informacija, koje nedostaju modelu i njihovo spremanje u tzv. RAG, kojim onda fokusirano i efikasno, mozemo prosiriti model.

BTW, kakvom masinom trenutno raspolazes?

zilog wrote: ↑21/09/2025 14:34

Seawolf wrote: ↑21/09/2025 13:13

zilog wrote: ↑20/09/2025 16:16

Lokalni AI modeli, koliko god mali i slabi bili, imaju svoju svrhu i moguce ih je korisno upotrijebiti na razne nacine, vrlo razlicite od velikih cloud modela.
Kakvu masinu koristis?

Pitanje: Da li lokalni AI modeli snimaju neku bazu znanja sa interneta na lokalne diskove? Da kada je računar off-line mogu pristupiti nekoj bazi informacija koja bi im trebala da ispune zahtjeve korisnika računara.

Evo ti kratak odgovor, a vjerujem da ce @drag_gost to mnogo bolje objasniti...

Modeli su te baze obradjenih informacija...

Mimo toga, sami od sebe - ne snimaju, kao sto ni cloud modeli to ne rade. Informacije koje se nalaze u modelu, su one koje su bile dostupne u trenutku treninga baznog modela, limitirane njegovom velicinom (mada bi se iznenadio koliko toga stane i u manje modele).

Upotrebom alata, neki modeli, mogu pristupiti internetu i potraziti informaciju, ali se to izbjegava jer dramaticno pocecava velicinu kontexta, a time trosi radnu memoriju (kvadrat velicine kontexta). Mnogo bolja alternativa je priprema baza informacija, koje nedostaju modelu i njihovo spremanje u tzv. RAG, kojim onda fokusirano i efikasno, mozemo prosiriti model.

BTW, kakvom masinom trenutno raspolazes?

Trenutno sam samo na ovom notebook-u ....

https://www.computeruniverse.net/de/p/1 ... id=1306233

Seawolf wrote: ↑21/09/2025 15:13

zilog wrote: ↑21/09/2025 14:34 BTW, kakvom masinom trenutno raspolazes?

Trenutno sam samo na ovom notebook-u ....

https://www.computeruniverse.net/de/p/1 ... id=1306233

Instaliraj LM Studio i skini gpt-oss-20b (mislim da ce ti ga ponuditi) i vidi sta moze. Nece bas letjeti, ali ce biti dovoljno da steknes predstavu o lokalnim modelima. I ovako mali model zna ponesto programirati, naglaba Bosanski (ako bas mora ), ... Poigraj se sa velicinom context-a (default je malih 4096 tokena) i kolicinom vremena za razmisljanje...

Evo jedan duzi video, koji detaljnije obradjuje lokalne AI modele i AI agente. Video je nastao prije lansiranja gpt-oss modela, ali se lako moze interpolirati iz opisa modela slicnih velicina i arhitektura. Autor koristi Ollama za pokretanje modela, mada ja pocetnicima preporucujem LM Studio, zbog GUI-ja.