Prečo je kontext
dôležitý.
Kvalita práce AI závisí od podkladov, ktoré má k dispozícii. Pri jednoduchej otázke stačí krátke zadanie. Pri dizertácii, knihe či novom biznise sa však o AI opierate mesiace a rozhoduje, či vie, čo z vašich rozhodnutí ešte platí. Merali sme Claude samotný a Claude s Principal Projektom, ktorý si nastavíte na kurze Projekt.
V skratke: čo je Principal Projekt
Principal Projekt je spôsob, ako viesť dlhodobú prácu v aplikácii Claude. Projekt má vlastné súbory, do ktorých sa po každom pracovnom sedení zapíše, čo sa rozhodlo, čo sa zmenilo a čo ostalo otvorené, a to vlastnými slovami. Nové sedenie z nich začína tam, kde posledné skončilo. Nastavíte si ho za tri večery online na kurze Projekt, bez programovania.
Článok je o dlhodobej práci na špecifickej téme. Na správu každodennej agendy, od domácnosti cez priateľov a voľný čas až po zamestnanie alebo biznis, odporúčame Principal Život, ktorý si nastavíte na kurze Život. Prečo práve on, vysvetľuje článok Prečo si AI o vás pamätá tak málo.
Kde sa rozdiel ukáže
Principal Projekt je stavaný na dlhú prácu. Na krátke a samostatné rozhovory ho nepotrebujete, tie Claude zvládne aj sám, ako ukázali naše merania.
Iné je to pri práci, ktorá sa ťahá dlhé mesiace a zahŕňa vývoj myšlienok, konceptov a rozhodnutí. Niečo sa zmení, niečo sa zavrhne a nové sedenie musí vedieť, čo z toho ešte platí.
Dlhšia práca: bez poriadku sa pamäť rozpadá
Tri rôzne projekty, každý v dvoch sedeniach s približne 60 výmenami. Rovnaké scenáre sme skúšali v troch variantoch: Claude samotný, Claude s jedinou vetou „uzavri to“ na konci sedenia a Claude s Principal Projektom. Potom prišlo osem kontrolných otázok: čo sa rozhodlo, čo platí a čo ostalo otvorené. Testy boli simulované, no ich výsledky zodpovedajú našej skúsenosti s Principal Projektom, ktorý sami dlhodobo používame.
Samotný Claude zachytil menej než polovicu
Koľko z ôsmich kontrolných otázok AI zodpovedala správne, pri každom projekte. Plný stĺpec znamená všetky. Červené výkričníky sú staré údaje, ktoré AI podala ako platné.
odpovedí
podaných ako platné
S Principal Projektom odpovedala AI správne v priemere viac než dvakrát častejšie ako samotný Claude. Samotný Claude navyše aspoň päťkrát podal starý údaj ako platný, teda niečo, čo sa medzitým zmenilo. S Principal Projektom sa to nestalo ani raz. Výsledky samotného Clauda tiež veľmi kolísali: na jednom projekte boli takmer trikrát lepšie ako na inom. Dopredu by ste nevedeli, na ktorom práve ste.
Nestačila ani pamäť projektu, druhá z troch úrovní pamäti, ktorú si Claude vedie sám a sám rozhoduje, čo si do nej zapíše. V teste s jedným dlhým sedením (približne 50 výmen) odpovedal Claude s Principal Projektom správne dvakrát častejšie ako len s ňou. S pamäťou projektu navyše zle pripisoval, kto čo povedal.
Pri dvoch sedeniach urobí najviac koniec sedenia. Už samotná veta „uzavri to“ výsledok zhruba zdvojnásobila. Principal Projekt takú uzávierku robí sám a zakaždým podľa rovnakých pravidiel, takže ju nemusíte mať v hlave ani vedieť, ako ju urobiť dobre.
Rozdiel sa ukáže aj v presnosti. Zo šiestich doslovných viet autora zachoval Principal Projekt všetkých šesť, samotná uzávierka len dve. Čo jeho pravidlá robia, ukazuje ďalší test.
Mesiace práce: kniha
Dlhú prácu sme simulovali na knihe: dvanásť pracovných sedení počas dvoch a pol mesiaca, kontrola po šiestom a po dvanástom.
Nič nechýbalo a nič si nevymyslel
Dnešná verzia Principal Projektu. Žiadna informácia nechýbala a veta autora ostala celá.
Skúsili sme aj rovnaký postup s kontrolou na konci každého sedenia, ale bez našich dvoch pravidiel. Vtedy si AI dvakrát vymyslela rozhodnutie, ktoré autor neurobil. Principal Projekt si takéto rozhodnutie nevymyslel ani raz. Tie pravidlá sú pritom jednoduché: vaše slová sa neprepisujú a zapisuje sa len to, čo naozaj zaznelo.
Tri mesiace v projekte: Principal Projekt oproti samotnej pamäti projektu
Posledný test sme postavili čo najbližšie k tomu, ako sa pracuje na kurze: projekt v aplikácii Claude so zapnutou pamäťou projektu. Simulovaný autor tri mesiace pripravoval online kurz v ôsmich sedeniach, každé so sto a viac výmenami. Hovoril ako pri skutočnom premýšľaní: rozhodnutia bral späť a menil, jeden údaj sa zmenil dokonca až štyrikrát, niektoré otázky nechal bez odpovede. Po každom mesiaci prišla v novom rozhovore kontrola s ôsmimi otázkami. Prácu len s pamäťou projektu aj s Principal Projektom sme pustili štyrikrát.
Aj najhorší pokus s Principal Projektom bol lepší
Koľko z ôsmich kontrolných otázok AI zodpovedala správne po každom mesiaci, priemer štyroch pokusov. Čím ďalej vpravo, tým lepšie. Pamäť projektu bola zapnutá aj pri práci s Principal Projektom.
odpovedí
ako najlepší bez neho
S Principal Projektom odpovedal Claude správne v priemere o 18 % častejšie ako len s pamäťou projektu. Aj jeho najhorší pokus bol lepší ako najlepší pokus bez neho.
Najviac to bolo vidieť pri veciach, ktoré ostali otvorené. Po prvom mesiaci ich len s pamäťou projektu mali neúplné všetky štyri pokusy, s Principal Projektom ani jeden.
Čo je za tým
Nie je to nápad z jedného večera. Principal Projekt stojí na skúsenosti, na meraniach aj na práci ďalších ľudí.
Všetky testy boli simulované a hodnotené naslepo a ich výsledky zodpovedajú našej skúsenosti s Principal Projektom, ktorý sami dlhodobo používame.
Chcete takto viesť svoj projekt?
Na kurze Projekt si Principal Projekt nastavíte vo svojom účte Claude za tri večery online. Bez programovania, 290 €.
Chcete s AI hlavne vybavovať bežné povinnosti? Pre väčšinu ľudí je správny začiatok kurz Život.