
Mini počitač pro AL
Hojte hošani.
Už mnoho let jsem jel na raspi.
Po raspi 5 jsem přešel na Acer Veriton N1502G-13NOU NUC BAREBONE
Přesně tento ale za jinou cenu.
https://www.alza.cz/acer-veriton-n1502g-13nou-nuc-barebone-d12985828.htm
Ted mně začala zajímat nějaký lokal al.
Jsem zkoušel na tom aceru llama3.2:3b a nepoužitelne.
Má tu někdo nějaký zkušenosti?
Dik.
Jsem to asi blbě napsal.
Nechci doporučit nějakou lokal al na ten můj acer.
Zajímá mně nový počítač, na kterém už něco rozumného rozjedu.
Vánoce se běží. Minulý rok se na mně ježa vysral, tak by letos mohl trochu přitlačit.
https://www.mironet.cz/minis-forum-um890-pro-cerna-amd-ryzen-9-8945hs-ddr5-m2-slot-ssd-hdmi-dp-2x-lan-4x-usb-2x-usbc-bez-o+dp735760/
ALe ved odpoved si dostal...bud tam budes mat grafiku s tucnou ram, co je pri dnesnych cenach nonsens alebo budes mat PC s min 24-32GB RAM, co je tiez nonsens.
Teraz prave ladim lokalnu AI pre jednu lekarku. PC s 32GB RAM a dokonca ai positive procakom(ultra 7 265) a je to tam na hrane...a to robim len prepis speech to text, kedze projekt je o tom, ze ona vysetruje pacienta na sone a zarovne diktuje do mikrofonu cele vysetrenie, ktore sa jej prepisuje do pc a odtial po schvaleni prenasa do programu, kde ma evidenciu pacientov.
Aj takto vybavene pc za 1600 eur tak ak chcem trenovat lokalny jazykovy model na datach, ktore vytvorim tak to bez tej grafiky trva dni/tyzdne, samotny prepis trva tiez par sekund, nastastie je to stale priajtelne na to, naco sa to chce pouzivat.
Ale ak si sa len chcel pochvalit, co si ides kupit tak ok pekna masinka...len dokupenie tych ramiek a disku bude este boliet;o).
Inak moj nazor...lokalne AI su vdaka narocnosti a cene v sucanosti nie moc pouzitelne na kopec veci a buducnost je asi v hybridnych AI a myslim, ze coskoro sa zacne nieco take ponukat vo vacsom.
Na jakém softu to pro tu lékařku stavíš? A co má grafiku?
Já plánuji vyzkoušet LM Studio (Bionic) a gemma-4-26b-a4b-qat (15,6GB), případně gemma-4-31b (19GB), který ale bude dost využívat RAM, takže bude pomalejší. Na nVidia 5070Ti/16 GB VRAM + 32 GB DDR5 RAM.
Soft som robil v Pythone, ale ak sa pytas aku LLM som pouzil tak som testoval najlepsie modely voci SK jazyku, ktore maju najlepsie WER.
Konkretne som pouzil kinit (large aj trubo), naiveneuron a openai vo verziach whisper-large-v3.