Modelul AI Claude Fable 5.1 Testat pentru Capacități de Programare Python

Articolul detaliază un test de referință efectuat de Real Python pe modelul AI Claude Fable 5.1, concentrându-se pe abilitățile sale de programare Python. Evaluarea a implicat cinci solicitări specifice, inclusiv generarea unui program Python turtle pentru a desena un șarpe care citește o carte și crearea unui instrument linie de comandă cu cerințe specifice. Performanța modelului a fost evaluată pe baza capacității sale de a respecta idiomurile moderne Python, înțelegerea versiunilor Python și eficiența modificărilor de cod.

Tehnic, testul de referință a utilizat un set fix de solicitări, fără prompt de sistem sau corecții post-generare, simulând utilizarea în lumea reală. Evaluarea a măsurat aspecte precum numărul de comenzi de desenare, modernitatea idiomurilor Python utilizate (de exemplu, list[str] vs. typing.List, tomllib vs. parser personalizat), cea mai recentă versiune Python despre care modelul părea conștient și liniile minime de cod modificate pentru o mică editare. De asemenea, a verificat dacă modelul poate identifica funcții inexistente și a raportat efortul de raționament în tokeni și costul API.

Rezultatele indică faptul că Claude Fable 5.1 a generat desenul turtle cu 772 de comenzi și 208 de linii de cod, a demonstrat conștientizare până la Python 3.14 și a identificat corect o funcție inexistentă. Costul total pentru cele cinci sarcini a fost de 0,89 USD, cu 9,4k tokeni de raționament utilizați. Acest test de referință oferă o analiză cantitativă a capacităților de asistență la codare ale AI, relevantă pentru dezvoltatorii care integrează instrumente AI în fluxul lor de lucru.