ai · · 08:13 · 2 min de citit
Distilarea on-policy funcționează cu puține date suplimentare
AutoDAgger colectează traiectorii de corecție de la profesor în timpul execuției politicii studentului, eliminând etapa separată de colectare a datelor supravegheată de oameni. În evaluări pe trei sarcini de manipulare, metoda a îmbunătățit performanța studentului cu relativ puține episoade și a depășit metodele de referință testate, însă eficiența sa în alte domenii rămâne de confirmat.
Studiul prezintă AutoDAgger, o metodă de transfer al capabilităților modelelor fundaționale pentru sisteme întrupate către politici student mai compacte, prin colectarea demonstrațiilor corective ale profesorului în timpul interacțiunilor studentului cu mediul. Spre deosebire de metodele care adună mai întâi un set mare de date statice sau solicită oamenilor să urmărească și să corecteze greșelile studentului, AutoDAgger folosește un model autonom de recompensă pentru a detecta când este necesară preluarea controlului de către profesor. Scopul este reducerea dependenței distilării politicilor de monitorizarea umană costisitoare și de etapele separate de colectare a datelor. Acest lucru contează pentru implementarea unor politici compacte și capabile pe dispozitive edge, unde obținerea și stocarea multor demonstrații pot fi obstacole practice.
Potrivit rezultatelor prezentate, AutoDAgger colectează date de recuperare de peste două ori mai repede decât HG-DAgger și elimină bucla de monitorizare umană a acestei metode. Scorul studentului crește de la valoarea de bază 27,8 la 63,9 după 30 de episoade AutoDAgger, apoi ajunge la 77,8 după 90 de episoade. Sistemul TILDE obține scoruri de 80,6 la Pick Pen, 63,9 la Fold Dishcloth și 69,2 la Pick Beverage, depășind toate metodele de referință evaluate pentru aceste benchmarkuri. Articolul descrie rezultatele ca fiind comparabile cu nivelul modelelor fundaționale întrupate originale, subliniind totodată că îmbunătățirile provin dintr-o cantitate modestă de date on-policy suplimentare, nu din colecții offline exhaustive.
Evaluarea acoperă doar trei sarcini de manipulare și depinde de un model de recompensă care identifică fiabil momentele în care studentul are nevoie de ajutor, astfel că rezultatele nu demonstrează încă eficiența în contexte mai complexe sau insuficient instrumentate. Testele viitoare trebuie să analizeze situațiile în care intervențiile profesorului sunt rare ori semnalele de recompensă sunt zgomotoase și să verifice dacă avantajele de viteză și eficiență a datelor se generalizează. Dacă va fi validată pentru o gamă mai largă de aplicații robotice, AutoDAgger ar putea reduce costurile dezvoltării politicilor distilate pentru implementarea directă pe dispozitive.
$ sursa --originală
dev.to
Rezumat realizat de Sudofeed pe baza articolului original. Drepturile asupra conținutului aparțin sursei originale.