Gemini 4 Argon desenează un piton care citește o carte

Real Python a publicat o evaluare informală a modelului Gemini 4 Argon, analizând modul în care abordează cinci sarcini practice de programare în Python, nu un singur benchmark convențional. Testele au inclus desenarea unui piton care citește o carte folosind modulul turtle, scrierea unui instrument pentru linia de comandă, identificarea celei mai recente versiuni Python, modificarea solicitată a unui script existent și răspunsul la o întrebare despre o funcție inexistentă. Evaluarea este relevantă pentru dezvoltatori deoarece observă comportamente întâlnite în activitatea curentă, precum generarea codului, familiaritatea cu funcționalitățile limbajului și evitarea inventării unor API-uri. Evaluatorii au folosit aceleași prompturi pentru fiecare model și nu au furnizat un system prompt.

Pentru sarcina de desen, Argon a returnat 216 linii de cod care au emis 521 de comenzi grafice, iar evaluatorii au rulat scriptul nemodificat într-un mediu cu afișaj virtual. Scorul privind modernitatea Python a fost Python 3.10, limitat de utilizarea lui datetime_utc, deși cea mai nouă funcționalitate folosită provenea din Python 3.12. Modelul a trecut 12 din 15 verificări aplicabile pentru idiomuri moderne, a lăsat neatinse toate cele 10 oportunități de curățare fără legătură cu cerința când i s-a cerut să adauge opțiunea --ext și a precizat corect că itertools.flatten() nu există, oferind o alternativă reală. Rularea a folosit google/gemini-4-argon prin OpenRouter, cu setarea implicită de raționare și fără tokenuri de gândire raportate; API-ul a facturat 0,06 USD pentru toate cele cinci sarcini, iar răspunsul a durat un minut și 11 secunde și a produs 5,4 mii de tokenuri de ieșire.

Rezultatele oferă o perspectivă limitată, specifică acestor sarcini, nu o confirmare a datei-limită a datelor de antrenare și nici o măsură completă a abilităților de programare ale modelului. Pentru dezvoltatori, testul prezintă observații concrete despre calitatea codului, cunoașterea versiunilor Python, respectarea limitelor cerinței și reacția la premise false, iar costul raportat oferă un punct de comparație pentru aceste prompturi. Real Python descrie testele ca fiind informale și indică pagina sa de prezentare generală pentru comparații între rulările modelelor; sunt necesare rezultate suplimentare pentru a stabili cum se compară Argon în mod consecvent cu alte modele.