Większość porównań AI mierzy niewłaściwe rzeczy. Zestawiają obok siebie punkty w benchmarkach, porównują okna kontekstowe i koronują zwycięzcę — i nie odpowiadają przy tym na ani jedno pytanie, które faktycznie pojawia się w prawdziwej firmie. W tym wpisie odsłaniam kryterium, którym oceniam narzędzia AI dla klientek i klientów. Siedem punktów, żaden z nich nie jest benchmarkiem. Wszystkie kolejne porównania na tym blogu korzystają dokładnie z tego kryterium.
Najważniejsze w skrócie
- Benchmarki mówią niewiele o pożytku w firmie — mierzą warunki laboratoryjne, a nie Państwa codzienność pracy.
- Siedem kryteriów rozstrzyga w praktyce: realne obciążenie pracą, podpięcie kontekstu, ochrona danych, wdrażalność, koszty całkowite, koszty wyjścia, tempo rozwoju.
- Licencja to najmniejszy blok kosztowy — a mimo to najczęstsza kotwica decyzyjna.
- Kosztów wyjścia prawie nikt nie sprawdza, choć z biegiem lat stają się droższe niż cena wejścia.
- To kryterium nie zastępuje decyzji. Dba tylko o to, żeby zadali Państwo właściwe pytania, zanim ją podejmą.
Dlaczego używam własnego kryterium
Gdy pojawia się nowy model, tabele porównawcze są w sieci w ciągu kilku godzin. Pokazują punktacje w standardowych testach: matematyka, programowanie, rozumienie tekstu. To nie jest bezwartościowe — ale odpowiada na pytanie, którego Państwo wcale nie zadali. Nie chcą Państwo wiedzieć, który model lepiej rozwiązuje zestaw zadań. Chcą Państwo wiedzieć, czy Państwa księgowość skończy dzięki niemu szybciej i czy kancelaria prawna obok nie odnajdzie nagle Państwa projektów umów w cudzym zbiorze danych treningowych.
Do tego dochodzi: dystans między czołowymi modelami w ostatnich dwóch latach wyraźnie się zmniejszył. Dla ogromnej większości zadań w MŚP — e-maile, streszczenia, analizy, szkice — wszyscy więksi dostawcy dostarczają użytecznych wyników. Różnica, która utrzyma Państwa projekt albo go pogrąży, leży gdzie indziej.
Ujawnienie na wstępie: Zarabiam na doradztwie i szkoleniach wokół Claude. To siłą rzeczy zabarwia moje oceny. Właśnie dlatego to kryterium leży odkryte — mogą Państwo przy jego pomocy przeliczyć wszystko sami i dojść do innego wyniku niż ja. W kolejnych porównaniach w każdym wpisie wyraźnie nazywam ponadto przypadki, w których lepszym wyborem jest inne narzędzie.
Kryterium 1: realne obciążenie pracą zamiast promptu z demonstracji
Każde narzędzie wygląda dobrze w demonstracji. Pytanie brzmi, co się dzieje, gdy nakarmią je Państwo swoją rzeczywistą pracą: 40-stronicową ofertą, rozrośniętym arkuszem Excela, korespondencją mailową z siedmiu miesięcy z trzema osobami kontaktowymi.
Tak to testuję: Biorę trzy do pięciu zadań, które pojawiają się w firmie co tydzień, i każę je opracować każdemu kandydatowi — na prawdziwych materiałach, a nie na danych przykładowych. Oceniane jest nie to, który wynik brzmi najładniej, lecz ile potrzeba poprawek, zanim będzie użyteczny. Narzędzie, które w 80 procentach przypadków jest genialne, a w 20 procentach dostarcza bezużytecznych bzdur, których trzeba dopiero szukać, jest w codzienności gorsze niż takie, które pozostaje solidne na całej długości.
Kryterium 2: podpięcie kontekstu
Model językowy bez dostępu do Państwa informacji to bardzo oczytany praktykant pierwszego dnia pracy. Zna świat, ale nie zna Państwa firmy. Właściwy skok w użyteczności powstaje tam, gdzie narzędzie dociera do Państwa danych: do plików, do skrzynki pocztowej, do repozytorium, do aplikacji branżowej.
Rozstrzygające pytania: czy mogę trwale odłożyć pliki i foldery, czy muszę je wgrywać na nowo w każdej rozmowie? Czy są konektory do systemów, których i tak używamy? I czy da się zbudować własne podpięcie, gdy dla naszego systemu branżowego nie ma nic gotowego — na przykład przez Model Context Protocol?
Kryterium 3: ochrona danych i stan umowny
Tu leży najdroższa pomyłka, jaką spotykam w rozmowach doradczych — i dotyczy ona nie wyboru dostawcy, lecz wyboru taryfy.
U dużych dostawców obowiązuje ten sam wzorzec: w taryfach prywatnych treści są domyślnie używane do trenowania modeli, możliwa jest rezygnacja. W taryfach biznesowych domyślnie nie odbywa się trenowanie na Państwa treściach. Mówiąc wprost: pracownik, który swoim prywatnym darmowym dostępem każe naprędce streścić umowę klienta, jest problemem ochrony danych — a nie wybór dostawcy na poziomie zarządu.
Co konkretnie sprawdzam: czy trenuje się na naszych danych i od której taryfy już nie? Czy jest umowa powierzenia przetwarzania i kto jest stroną umowy? Gdzie leżą dane? Jak długo są przechowywane i czy da się to skonfigurować? Jacy podwykonawcy są w to włączeni?
To ocena praktyczna z doradztwa, a nie porada prawna. Do wiążącej oceny Państwa konkretnego przypadku potrzebują Państwo swojego inspektora ochrony danych albo kancelarii.
Kryterium 4: wdrażalność w zespole
Narzędzie, które potrafią obsłużyć tylko dwie obeznane technicznie koleżanki, nie zmienia nic w wyniku firmy. Pytanie brzmi nie, jak dobre jest oprogramowanie w najlepszym przypadku, lecz ilu ludzi będzie go faktycznie używać na co dzień.
Należą do tego rzeczy niespektakularne: czy jest centralne zarządzanie użytkownikami? Czy da się to spiąć z istniejącym logowaniem? Czy jako administrator widzę, kto z tego korzysta — a kto nie? I ile realistycznie potrzeba szkolenia, zanim ktoś bez wcześniejszej wiedzy stanie się dzięki temu produktywny? Moje doświadczenie: dwie do trzech godzin z opieką na osobę dają więcej niż jakakolwiek lista funkcji. Jak taki proces wdrożenia przebiega w uporządkowany sposób, opisałem w planie sześciotygodniowym.
Kryterium 5: koszty całkowite w dwunastu miesiącach
Opłata licencyjna to pozycja, o której wszyscy mówią, i najmniejsza z trzech. Proszę liczyć zamiast tego tak:
- Licencja: cena za stanowisko × liczba osób × dwanaście miesięcy. Proszę zwrócić uwagę na minimalne zamówienia i na to, czy zakładana jest licencja bazowa — u niektórych dostawców reklamowana cena jest tylko dopłatą.
- Wdrożenie: wybór, konfiguracja, regulamin, podpięcie do Państwa systemów. Jednorazowo, ale rzadko mało.
- Szkolenie i opieka: nie jednorazowa prezentacja, lecz opieka w pierwszych miesiącach, w których pytania dopiero się pojawiają.
Przy dziesięciu osobach koszty licencji wynoszą w zależności od dostawcy rocznie niskie kilka tysięcy. Wdrożenie i szkolenie leżą z doświadczenia powyżej. Kto porównuje tylko licencję, optymalizuje najmniejszą dźwignię.
Kryterium 6: koszty wyjścia
Kryterium, które w procesach wyboru prawie nigdy nie występuje — i które z każdym miesiącem staje się droższe. Pytanie brzmi: ile kosztuje zmiana za dwa lata?
Konkretnie: czy odzyskam swoje przebiegi rozmów, odłożone dokumenty i samodzielnie zbudowane szablony, i w jakim formacie? Ile pracy tkwi w konfiguracji i podpięciach, które przy zmianie przepadną? I jak mocno narzędzie wryło się w przebiegi pracy, które trzeba będzie wtedy napisać od nowa?
Moja reguła kciuka: wszystko, co formułują Państwo sami — regulaminy, szablony, opracowaną wiedzę firmową — powinno leżeć w formacie, który da się odczytać także bez tego dostawcy. Zwykłe pliki tekstowe we własnym repozytorium to nie krok wstecz, lecz ubezpieczenie.
Kryterium 7: tempo rozwoju produktu
Kryterium obosieczne. Wysokie tempo oznacza, że za rok Państwa narzędzie będzie potrafić wyraźnie więcej niż dziś — bez tego, żeby musieli Państwo cokolwiek zrobić. Ale oznacza też, że Państwa materiały szkoleniowe się starzeją, że interfejsy się przesuwają i że funkcja, wokół której zbudowali Państwo pewien przebieg, może znowu zniknąć.
To, co tu oceniam, to mniej szybkość, a bardziej niezawodność: czy dostawca zapowiada zmiany? Czy są okresy przejściowe? Czy interfejsy pozostają stabilne, nawet gdy zmienia się warstwa wizualna? Dla firmy, która opiera przebiegi na jednym narzędziu, przewidywalność jest warta więcej niż kolejna funkcja.
Jak stosować to kryterium
Nie wszystkie siedem punktów waży tyle samo — zależy to od Państwa położenia. Biuro doradztwa podatkowego wysoko waży ochronę danych i koszty wyjścia. Agencja reklamowa wysoko waży realne obciążenie pracą i podpięcie kontekstu, a przy ochronie danych może być pragmatyczniejsza, dopóki w grze nie ma danych mandantów.
Moja propozycja: proszę przed porównaniem rozdać wagi — które trzy punkty są dla Państwa najważniejsze? Dopiero potem proszę spojrzeć na narzędzia. Na odwrót regularnie zdarza się, że imponujący szczegół przesuwa wagi po fakcie.
Częste pytania
Czy benchmarki są całkowicie bezwartościowe?
Nie. Niezawodnie pokazują, czy model w jakiejś kategorii mocno odstaje. Do wyboru między trzema czy czterema czołowymi dostawcami nadają się jednak słabo, bo różnice są tam małe, a warunki testowe dalekie od Państwa codzienności pracy.
Jak długo trwa ocena według tego kryterium?
Dla dwóch kandydatów realistycznie dwa do trzech tygodni: tydzień na zadania testowe, tydzień na sprawdzenie ochrony danych i umów, do tego czas, którego Państwa działy merytoryczne potrzebują na informację zwrotną. Kto rozstrzyga to w jedno popołudnie, decyduje na wyczucie — co czasem wystarcza, ale wtedy proszę świadomie.
Czy nie możemy po prostu używać kilku narzędzi równolegle?
Mogą Państwo — kosztuje to tylko więcej, niż większość oczekuje. Nie w opłatach licencyjnych, lecz w uzgodnieniach, szkoleniu i nakładzie na ochronę danych na każde dodatkowe narzędzie. Moja rekomendacja to jedno narzędzie standardowe plus jedno świadomie dopuszczone narzędzie drugie.
Czy to kryterium dotyczy też małych firm?
Tak, tylko przy mniejszym nakładzie. Przy trzech osobach sprawdzają Państwo te same siedem punktów, ale w kilka godzin zamiast w tygodnie. Kryteria się nie zmieniają, tylko głębokość sprawdzania.
Jakie narzędzie zatem Pan poleca?
To zależy od Państwa wag — po to jest to kryterium. W kolejnych wpisach tej serii przeliczam popularnych kandydatów po kolei, za każdym razem z przypadkami, w których wygrywają, i tymi, w których przegrywają.