Flag-ul în jurul căruia ne-am optimizat a fost șters

Articolul detaliază ștergerea neașteptată a flag-ului `-sm row` din proiectul llama.cpp, o optimizare crucială pentru configurațiile multi-GPU, în special cele care utilizează NVIDIA Tesla P40. Acest flag permitea împărțirea tensorilor de strat pe GPU-uri, dublând aproape debitul de la aproximativ 7 tokeni/secundă la 12-14 tokeni/secundă pentru generare și îmbunătățind semnificativ procesarea prompturilor. Autorul își construise întregul stack de inferență în jurul acestui flag, făcând din eliminarea sa bruscă o perturbare majoră.

Narațiunea se desfășoară în cinci acte, ilustrând succesul inițial al flag-ului în februarie 2026, urmat de un incident de regresie în martie 2026, unde o versiune modernizată și multiple modificări simultane au estompat problemele de performanță. Testele ulterioare au relevat că un mod de împărțire 'graph' lăudat era incompatibil cu arhitectura Pascal și putea cauza erori, subliniind importanța măsurătorilor specifice hardware. Complicații suplimentare au apărut în mai 2026 odată cu lansarea Gemma 4, a cărei arhitectură a determinat crash-uri ale modului row split pe configurații multi-GPU, forțând trecerea la layer split, în ciuda costului de performanță.

În cele din urmă, flag-ul `-sm row` a fost șters complet din versiunea principală a llama.cpp în iulie 2026. Cu toate acestea, autorul a descoperit că noi funcționalități precum `--parallel 4` (procesare multi-stream) și decodarea speculativă MTP, introduse în versiuni mai noi, au compensat pierderea flag-ului. Aceste îmbunătățiri ortogonale au aproape dublat debitul agregat și au crescut performanța single-stream cu 57%, demonstrând că recuperarea vine adesea din surse neașteptate, nu din înlocuiri directe. Experiența a subliniat importanța datării afirmațiilor de performanță și a re-măsurării atunci când configurațiile se schimbă.