Întrebările sintetice cu valoare ridicată sporesc eficiența distilării

Articolul prezintă Ask to Distill (A2D), o metodă de generare a întrebărilor sintetice care determină modelele profesor să dezvăluie informații utile în timpul distilării on-policy. Spre deosebire de abordările bazate pe întrebări reale ale utilizatorilor sau pe prompturi generate de student și filtrate pentru relevanță, A2D selectează întrebările în funcție de capacitatea lor de a obține răspunsuri informative de la profesor și nu are nevoie de răspunsuri de referință. Rezultatele raportate indică scoruri medii mai mari decât distilarea on-policy standard pentru trei modele student, sugerând că prompturile proiectate atent pot îmbunătăți distilarea fără a depinde de seturi de întrebări etichetate. Ideea centrală este că metoda crește densitatea supervizării utile, nu doar numărul exemplelor.

A2D raportează scoruri medii de 46,2 pentru Qwen3-1.7B, 51,6 pentru R1-Distill-1.5B și 64,5 pentru R1-Distill-7B, față de 43,0, 50,5 și 62,9 pentru distilarea on-policy standard. Diferențele reprezintă câștiguri de 3,2 puncte pentru cel mai mic model și 1,6 puncte pentru cel mai mare. Analiza atribuie îmbunătățirea întrebărilor optimizate, care obțin mai mult semnal distribuțional total din răspunsuri mai scurte ale studentului și pot furniza feedback mai bogat de la profesor folosind mai puțini tokeni ai studentului. Metoda estimează valoarea întrebărilor folosind o pereche student–profesor înghețată, iar articolul menționează că modificările aduse oricăruia dintre modele în timpul antrenării ar putea reduce calitatea întrebărilor generate.

Evaluarea acoperă raționamentul matematic, generarea de cod și sarcinile de tip agent, astfel că nu demonstrează dacă beneficii similare apar în dialogul deschis sau în sarcinile multimodale. Pentru dezvoltatori și cercetători, A2D oferă o posibilă modalitate de a reduce dependența de colecțiile reale de întrebări atunci când datele etichetate sunt puține, însă performanța sa în condiții de adaptare continuă rămâne incertă. Testarea suplimentară în mai multe domenii și în scenarii cu modele profesor care evoluează ar clarifica cât de larg poate fi aplicată metoda.