Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego serca jego architektury. U fundamentu leży tak zwana pętla odbieranie–układanie planu–wykonywanie, w której program najpierw rejestruje informacje z otoczenia, następnie rozkłada na czynniki dostępne możliwości, a wreszcie wykonuje wybraną akcję. Cały ten obieg powtarza się wielokrotnie, aż do osiągnięcia zamierzonego efektu.
Sercem tego procesu jest model językowy, który odgrywa rolę wewnętrznego głosu konsultacyjnego agenta. To on interpretuje instrukcje użytkownika, dzieli złożone zadanie na drobniejsze podzadania i proponuje kolejność ich wykonania. Środowisko modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy wymaga konkretnych danych spoza swojej pamięci treningowej.
Interesującym składnikiem architektury jest tak zwana pamięć operacyjna, w której agent trzyma kontekst bieżącego zadania. Dzięki niej nie traci wątku nawet wtedy, gdy procedura rozkłada się na kilka etapów i potrzebuje przełączania między różnymi źródłami informacji. To dokładnie ta zdolność wyróżnia agenta od podstawowego skryptu, który wykonuje jedynie z góry zapisaną listę poleceń.
Oddzielną sprawą pozostaje mechanizm oceny własnych działań. Odpowiednio zbudowany agent potrafi rozpoznać, że otrzymany wynik nie zgadza się od zamierzonego, i wrócić do poprzedniego etapu, by podjąć próbę alternatywnej ścieżki. Taka samokorekta zbliża działanie maszyny do ludzkiego zwyczaju weryfikowania własnej pracy przed jej oddaniem.