Myslím, že tady trochu směšuješ několik odlišných věcí. Přepis řeči na text (Speech-to-Text), inference jazykového modelu a jeho trénování jsou tři rozdílné výpočetní úlohy.
To, že ti trénování vlastního modelu na konkrétní sestavě trvá dny nebo týdny, ještě nic nevypovídá o použitelnosti lokální inference.
Stejně tak bych netvrdil, že 24–32 GB RAM je dnes nesmysl. Záleží na konkrétním modelu, jeho tzv kvantizaci, způsobu inference a na tom, zda se výpočty provádějí na CPU, GPU nebo NPU. Navíc systémová RAM a VRAM nejsou zaměnitelné veličiny.
S hybridní AI souhlasím, určitě má své místo. Ale z toho bych rozhodně nevyvozoval, že lokální AI je dnes obecně málo použitelná. To je podobné, jako kdybychom podle jednoho náročného projektu hodnotili použitelnost celého segmentu hardwaru.
Podle mě je podstatné nevybírat hardware podle marketingového označení AI PC nebo podle jednoho vysokého čísla TOPS, ale podle konkrétní úlohy, kterou má zařízení dlouhodobě a efektivně vykonávat. Kdo toto nehápe tak ...