Caută în știri_

2 rezultate pentru „70b model”

• 21:30devNavigarea Regiunilor Amazon Bedrock pentru Fine-Tuning de Modele: Un Ghid PracticAcest articol detaliază complexitățile fine-tuning-ului modelelor de bază pe Amazon Bedrock, dezvăluind că funcționalitățile de fine-tuning, în special pentru modele non-Amazon precum Llama, variază semnificativ între regiunile AWS. Autorul a efectuat o scanare API în 33 de regiuni pentru a identifica modelele disponibile pentru personalizare, descoperind că doar o singură regiune suportă fine-tuning pentru Llama 3.3 70B, iar regiunea implicită 'us-east-1' oferă predominant modelele proprietare Amazon.
• 04.09 · 09:02devTimpul de pornire la rece pentru inferența GPU redus de la 8 minute la sub un minutUn efort recent de optimizare a redus cu succes timpul de pornire la rece pentru inferența GPU de la 8 minute la sub un minut. Această îmbunătățire semnificativă a fost realizată prin instrumentarea și analiza întregului proces, de la crearea pod-ului până la primul răspuns de inferență pe un nod GPU care rulează un model de clasă 70B.