
Mini počitač pro AL
Hojte hošani.
Už mnoho let jsem jel na raspi.
Po raspi 5 jsem přešel na Acer Veriton N1502G-13NOU NUC BAREBONE
Přesně tento ale za jinou cenu.
https://www.alza.cz/acer-veriton-n1502g-13nou-nuc-barebone-d12985828.htm
Ted mně začala zajímat nějaký lokal al.
Jsem zkoušel na tom aceru llama3.2:3b a nepoužitelne.
Má tu někdo nějaký zkušenosti?
Dik.
Optimista...s lokalnou AI som bojoval na Mac Mini M4/16GB niekolko dni, kym som sa dostal k pouzitelnemu vysledku.
Na nejakych krabickach za par supov na lokalnu AI zabudni.
Ale on přece nechce AI, ale AL
Ano, hliníkové skříně vyrábí např. Lian Li.![]:)](https://static.poradna.net/images/smiley/evilsmile.gif)
Jsem to asi blbě napsal.
Nechci doporučit nějakou lokal al na ten můj acer.
Zajímá mně nový počítač, na kterém už něco rozumného rozjedu.
Vánoce se běží. Minulý rok se na mně ježa vysral, tak by letos mohl trochu přitlačit.
https://www.mironet.cz/minis-forum-um890-pro-cerna-amd-ryzen-9-8945hs-ddr5-m2-slot-ssd-hdmi-dp-2x-lan-4x-usb-2x-usbc-bez-o+dp735760/
Nedoporučil bych ho. Největší problém není výkon CPU, ale propustnost pamětí. Proto jsou např. tak oblíbené Mac Mini - ty mají oproti tomuhle propustnost zhruba trojnásobnou.
ALe ved odpoved si dostal...bud tam budes mat grafiku s tucnou ram, co je pri dnesnych cenach nonsens alebo budes mat PC s min 24-32GB RAM, co je tiez nonsens.
Teraz prave ladim lokalnu AI pre jednu lekarku. PC s 32GB RAM a dokonca ai positive procakom(ultra 7 265) a je to tam na hrane...a to robim len prepis speech to text, kedze projekt je o tom, ze ona vysetruje pacienta na sone a zarovne diktuje do mikrofonu cele vysetrenie, ktore sa jej prepisuje do pc a odtial po schvaleni prenasa do programu, kde ma evidenciu pacientov.
Aj takto vybavene pc za 1600 eur tak ak chcem trenovat lokalny jazykovy model na datach, ktore vytvorim tak to bez tej grafiky trva dni/tyzdne, samotny prepis trva tiez par sekund, nastastie je to stale priajtelne na to, naco sa to chce pouzivat.
Ale ak si sa len chcel pochvalit, co si ides kupit tak ok pekna masinka...len dokupenie tych ramiek a disku bude este boliet;o).
Inak moj nazor...lokalne AI su vdaka narocnosti a cene v sucanosti nie moc pouzitelne na kopec veci a buducnost je asi v hybridnych AI a myslim, ze coskoro sa zacne nieco take ponukat vo vacsom.
Na jakém softu to pro tu lékařku stavíš? A co má grafiku?
Já plánuji vyzkoušet LM Studio (Bionic) a gemma-4-26b-a4b-qat (15,6GB), případně gemma-4-31b (19GB), který ale bude dost využívat RAM, takže bude pomalejší. Na nVidia 5070Ti/16 GB VRAM + 32 GB DDR5 RAM.
Soft som robil v Pythone, ale ak sa pytas aku LLM som pouzil tak som testoval najlepsie modely voci SK jazyku, ktore maju najlepsie WER.
Konkretne som pouzil kinit (large aj trubo), naiveneuron a openai vo verziach whisper-large-v3.
AL(openAL) a k tomu ešte EAX podporuje Creative Labs,stále sa dajú kúpiť ich karty,síce už ich ARM K procesory nepoužívajú,všetko nahradil preznačený Realtek a u high-end modelov preznačený ICE-Ensemble čip,ale stále niečo od nich existuje..........pokial si myslel AI,tak hladaj minimálne niečo ako Sapphire Edge AI 350 Barebone,Minisforum T5-MAX 388 a spol,čo sú barebone ešte za relatívne rozumné peniaze,nie Acer Veriton mini pc,kde s pomocou Božou pôjde tak nanajvýš OpenVino/ONNX cez node.js.....na Veritone s N150 rozhýbeš TorchVision/TorchAudio cez web kameru a jednoduché filtre v nejakom jednoduchšom programe na úpravu fotografií,ktorý podporuje nejaké primitívne AI funkcie,v podstate na nič viac ten Intel N100/150 procesor nemá,nemá žiadnu NPU jednotku na AI funkcie