Wi\u0119kszo\u015b\u0107 por\u00f3wna\u0144 AI mierzy niew\u0142a\u015bciwe rzeczy. Zestawiaj\u0105 obok siebie punkty w benchmarkach, por\u00f3wnuj\u0105 okna kontekstowe i koronuj\u0105 zwyci\u0119zc\u0119 \u2014 i nie odpowiadaj\u0105 przy tym na ani jedno pytanie, kt\u00f3re faktycznie pojawia si\u0119 w prawdziwej firmie. W tym wpisie ods\u0142aniam kryterium, kt\u00f3rym oceniam narz\u0119dzia AI dla klientek i klient\u00f3w. Siedem punkt\u00f3w, \u017caden z nich nie jest benchmarkiem. Wszystkie kolejne por\u00f3wnania na tym blogu korzystaj\u0105 dok\u0142adnie z tego kryterium.<\/p>\n\n\n\n
Gdy pojawia si\u0119 nowy model, tabele por\u00f3wnawcze s\u0105 w sieci w ci\u0105gu kilku godzin. Pokazuj\u0105 punktacje w standardowych testach: matematyka, programowanie, rozumienie tekstu. To nie jest bezwarto\u015bciowe \u2014 ale odpowiada na pytanie, kt\u00f3rego Pa\u0144stwo wcale nie zadali. Nie chc\u0105 Pa\u0144stwo wiedzie\u0107, kt\u00f3ry model lepiej rozwi\u0105zuje zestaw zada\u0144. Chc\u0105 Pa\u0144stwo wiedzie\u0107, czy Pa\u0144stwa ksi\u0119gowo\u015b\u0107 sko\u0144czy dzi\u0119ki niemu szybciej i czy kancelaria prawna obok nie odnajdzie nagle Pa\u0144stwa projekt\u00f3w um\u00f3w w cudzym zbiorze danych treningowych.<\/p>\n\n\n\n
Do tego dochodzi: dystans mi\u0119dzy czo\u0142owymi modelami w ostatnich dw\u00f3ch latach wyra\u017anie si\u0119 zmniejszy\u0142. Dla ogromnej wi\u0119kszo\u015bci zada\u0144 w M\u015aP \u2014 e-maile, streszczenia, analizy, szkice \u2014 wszyscy wi\u0119ksi dostawcy dostarczaj\u0105 u\u017cytecznych wynik\u00f3w. R\u00f3\u017cnica, kt\u00f3ra utrzyma Pa\u0144stwa projekt albo go pogr\u0105\u017cy, le\u017cy gdzie indziej.<\/p>\n\n\n\n
Ujawnienie na wst\u0119pie:<\/strong> Zarabiam na doradztwie i szkoleniach wok\u00f3\u0142 Claude. To si\u0142\u0105 rzeczy zabarwia moje oceny. W\u0142a\u015bnie dlatego to kryterium le\u017cy odkryte \u2014 mog\u0105 Pa\u0144stwo przy jego pomocy przeliczy\u0107 wszystko sami i doj\u015b\u0107 do innego wyniku ni\u017c ja. W kolejnych por\u00f3wnaniach w ka\u017cdym wpisie wyra\u017anie nazywam ponadto przypadki, w kt\u00f3rych lepszym wyborem jest inne narz\u0119dzie.<\/p>\n\n\n\n Ka\u017cde narz\u0119dzie wygl\u0105da dobrze w demonstracji. Pytanie brzmi, co si\u0119 dzieje, gdy nakarmi\u0105 je Pa\u0144stwo swoj\u0105 rzeczywist\u0105 prac\u0105: 40-stronicow\u0105 ofert\u0105, rozro\u015bni\u0119tym arkuszem Excela, korespondencj\u0105 mailow\u0105 z siedmiu miesi\u0119cy z trzema osobami kontaktowymi.<\/p>\n\n\n\n Tak to testuj\u0119:<\/strong> Bior\u0119 trzy do pi\u0119ciu zada\u0144, kt\u00f3re pojawiaj\u0105 si\u0119 w firmie co tydzie\u0144, i ka\u017c\u0119 je opracowa\u0107 ka\u017cdemu kandydatowi \u2014 na prawdziwych materia\u0142ach, a nie na danych przyk\u0142adowych. Oceniane jest nie to, kt\u00f3ry wynik brzmi naj\u0142adniej, lecz ile potrzeba poprawek, zanim b\u0119dzie u\u017cyteczny. Narz\u0119dzie, kt\u00f3re w 80 procentach przypadk\u00f3w jest genialne, a w 20 procentach dostarcza bezu\u017cytecznych bzdur, kt\u00f3rych trzeba dopiero szuka\u0107, jest w codzienno\u015bci gorsze ni\u017c takie, kt\u00f3re pozostaje solidne na ca\u0142ej d\u0142ugo\u015bci.<\/p>\n\n\n\n Model j\u0119zykowy bez dost\u0119pu do Pa\u0144stwa informacji to bardzo oczytany praktykant pierwszego dnia pracy. Zna \u015bwiat, ale nie zna Pa\u0144stwa firmy. W\u0142a\u015bciwy skok w u\u017cyteczno\u015bci powstaje tam, gdzie narz\u0119dzie dociera do Pa\u0144stwa danych: do plik\u00f3w, do skrzynki pocztowej, do repozytorium, do aplikacji bran\u017cowej.<\/p>\n\n\n\n Rozstrzygaj\u0105ce pytania: czy mog\u0119 trwale od\u0142o\u017cy\u0107 pliki i foldery, czy musz\u0119 je wgrywa\u0107 na nowo w ka\u017cdej rozmowie? Czy s\u0105 konektory do system\u00f3w, kt\u00f3rych i tak u\u017cywamy? I czy da si\u0119 zbudowa\u0107 w\u0142asne podpi\u0119cie, gdy dla naszego systemu bran\u017cowego nie ma nic gotowego \u2014 na przyk\u0142ad przez Model Context Protocol<\/a>?<\/p>\n\n\n\n Tu le\u017cy najdro\u017csza pomy\u0142ka, jak\u0105 spotykam w rozmowach doradczych \u2014 i dotyczy ona nie wyboru dostawcy, lecz wyboru taryfy.<\/p>\n\n\n\n U du\u017cych dostawc\u00f3w obowi\u0105zuje ten sam wzorzec: w taryfach prywatnych<\/strong> tre\u015bci s\u0105 domy\u015blnie u\u017cywane do trenowania modeli, mo\u017cliwa jest rezygnacja. W taryfach biznesowych<\/strong> domy\u015blnie nie odbywa si\u0119 trenowanie na Pa\u0144stwa tre\u015bciach. M\u00f3wi\u0105c wprost: pracownik, kt\u00f3ry swoim prywatnym darmowym dost\u0119pem ka\u017ce napr\u0119dce stre\u015bci\u0107 umow\u0119 klienta, jest problemem ochrony danych \u2014 a nie wyb\u00f3r dostawcy na poziomie zarz\u0105du.<\/p>\n\n\n\n Co konkretnie sprawdzam: czy trenuje si\u0119 na naszych danych i od kt\u00f3rej taryfy ju\u017c nie? Czy jest umowa powierzenia przetwarzania i kto jest stron\u0105 umowy? Gdzie le\u017c\u0105 dane? Jak d\u0142ugo s\u0105 przechowywane i czy da si\u0119 to skonfigurowa\u0107? Jacy podwykonawcy s\u0105 w to w\u0142\u0105czeni?<\/p>\n\n\n\n To ocena praktyczna z doradztwa, a nie porada prawna. Do wi\u0105\u017c\u0105cej oceny Pa\u0144stwa konkretnego przypadku potrzebuj\u0105 Pa\u0144stwo swojego inspektora ochrony danych albo kancelarii.<\/p>\n\n\n\n Narz\u0119dzie, kt\u00f3re potrafi\u0105 obs\u0142u\u017cy\u0107 tylko dwie obeznane technicznie kole\u017canki, nie zmienia nic w wyniku firmy. Pytanie brzmi nie, jak dobre jest oprogramowanie w najlepszym przypadku, lecz ilu ludzi b\u0119dzie go faktycznie u\u017cywa\u0107 na co dzie\u0144.<\/p>\n\n\n\nKryterium 1: realne obci\u0105\u017cenie prac\u0105 zamiast promptu z demonstracji<\/h2>\n\n\n\n
Kryterium 2: podpi\u0119cie kontekstu<\/h2>\n\n\n\n
Kryterium 3: ochrona danych i stan umowny<\/h2>\n\n\n\n
Kryterium 4: wdra\u017calno\u015b\u0107 w zespole<\/h2>\n\n\n\n