Poradna

Sice sme odbocili, ale teda pridam k AI aj ja nieco.
AI je dost nebezpecna, pretoze ludi 10x dobre obsluzi a na 11x im znici firmu.
AI stale dost halucinuju a problem je presne v tom, ze AI po case zacnete doverovat a jej rady plnit bez rozmyslania.
Kazde Ai, s ktorym som spolupracoval mi uplne bezne poradi, aby som problem na serveri, kde som pripojeny cez ssh riesil tym, ze sietovku vyplnem a zapnem...lenze oni to nedaju do jedneho prikazu ale do dvoch. Ked ich upozornim, ze po vypnuti sietovky stratim okamzite spojenie a uz ju nezapnem tak sa mi ospravedlania a zivot ide dalej....keby ich bezhlavo pocuvam tak musim sadnut do auta, precestovat stovky km a zapnut si ten server rucne.
Chyba im logika, su len len m0odely trenovane na datach a bezne ma vytacaju, ze ma posielaju do menu tlaciarne, ktore neexistuje, pretoze postupuju podla naucenych scenarov, akoby to menu asi malo vyzerat....ale ono tak nevyzera.
Zrovna vcera som riesil nieco na QNAPe a Claude(inac moj kamos) ma suverenne posielal v menu, ktore tam nebolo a bol strateny aj po tom, co som upresnil verziu QTS a popisal menu nad tym...vyhoda bola len v tom, ze ma naviedol, kde to mam hladat a ja som si to nasiel sam.
Alebo dalsi priklad, ked mi tvrdil, ze to nie on mi nasiel 240 dnovu trial verziu idracu a ze som sa urcite pomylil....az po 5min dohadovania som ho ukecal, ze kukni sa poriadne a on mi ju zase nasiel.

A posledny varovny priklad z clanku...akasi firma si davala AI nech spracovava nejake data na ich webe...vsetko fungovalo ako ma, ale prisla nova verzia, AI pustili do testovacieho prostredia, ktore vsak bolo previazane s produkcnym a pre istou v rovnakom cloude boli aj zalohy a co sa stalo?
Bystrejsi vedia uz co. AI narazila na problem s vykonom, rozhodla sa zmazat databazu, narazila aj na produkcnu a kedze je to AI nenapadlo ju nic lepsie ako vymazat aj zalohy. Bez opytania, bez overenia, bez potvrdenia clovekom.
Firma skoro skrachovala, mala vsak nejaku offline zalohu staru par mesiacov, takze prisla len o data stare par mesiacov, co je ale pruser u firmy, ktora poskytuje online sluzby (tusim nieco prenajimali).

A bude horsie...AI nam zacne menit aj historiu a ludia budu casom tak zmagoreni....raadsej na to ani nemysliet.
Btw uz som mal par hadok so svojimi detmi, ktore mi v niecom oponovali slovali...AI povedala, ze....a pritom nemali pravdu, ale pre nich je AI proste autorita.

Kratke nevyznamne jednoduche dotazy jsou ok.
Delsi koncerzace - tam uz je to horsi. AI pouzije jen nekolik predchozich dotazu, kasle na nastavena vychozi pravidla, kde ma zakazano halucinovat.

Pokud si to chce nekdo zkusit, zahrajte si nejakou hru, ktera v konzoli umoznuje generovat veci - treba Fallout New Vegas, pouzivejte AI na kody pro veci, na navigaci na mape, na herni postup... Po chvili hrani budete tak sprosti, ze jsem do pravidel musel pridat odstavec, ze ve chvili, kdy pouziju ostrejsi vyrazy, tak to znamena, ze ma okamzite zastavit, precist si pravidla a prehodnotit odpoved.
Po chvili zacne halucinovat, vymyslet si kody, vymyslet si smery na mape, vymyslet si postup ve hre. Casto se stane, ze predhodi kody z uplne jine hry atd. Presto ze ma v pravidlech nastaveno, aby ignorovala vnitrni pamet a vsechny odpovedi overovala z duveryhodnych zdroju.

A stejne tak, jako si vymysli ve hre, tak si vymysli vsude jinde. A bude se hadat, ze ma pravdu.
Spolehat se bezmyslenkovine na odpovedi od AI je cesta do pekla.

S dlhsimi konverzaciami nieje problem pri rozumnom nastaveni context window, ci jak sa to vola. Aby si AI drzala data a kontakt chatu XY dni dozadu. No na to treba vela pamate, takze vacsinou su tieto veci len v drahsich planoch predplatneho.

Kto pusta AI k svojim datam, kt. nema zalohovane offsite, je blazon. Ako tu uz bolo napisane, moze to skoncit vymazom dolezitych dat. Neviem preco vela ludi povazuje za normalne, pustit AI k svojim datam, ked tato moze spravit hocico hocikedy a nikoho sa nepytat.

Problem s delsimi konverzacemi je v tom, co mas zaplaceno - pocet tokenu, se kterymi umi AI model pracovat. Selsi koncerzace uz je mimo limit, takze AI nevi, o cem jste mluvili na zacatku.

To mi připomnělo, že jsem si od Copilota nechal generovat obrázky.
První obrázek byl požadavek - tank, kterej najede na strom a pokácí ho a na to se dívá rodinka bobrů. Udělal, OK.
Pak jsem chtěl další obrázek - udělej pivo na sekeru, tedy sekeru a na ní položené pivo. Udělal pivo na sekeře, ale vedle čučela rodinka bobrů.
A nebylo to poprvé, kdy do nového zamíchal předchozí požadavky.

Kdyz mu nereknes ze chces vytvorit novy koncept, bude se drzet zakladu toho predchoziho, nebo predchozich informaci (neco joko previdavost).

Takže mám být rád, že mi do toho obrázku s pivem a sekerou nepřihodil i ten tank.
Je třeba k AI částečně přistupovat jak k dítěti, jeho výsledky kontrolovat a hodnotit, dávat mu jasné příkazy. Bohužel nestačí jen, aby něco udělal, ale aby taky něco neudělal.

Je třeba k AI částečně přistupovat jak k dítěti,

JJ, tak AI je v podstate jeste v plenkach takze jsi to vystihnul dobre :) Proto pouzivam klicova slova jako "chci vytvorit novy projekt .." atd aby nebral v potaz predchozi proměné.
PS: Zkus takovy test, napis do AI : "Co si o mně pamatuješ?"