IPOL.ID – Yandex, sebuah perusahaan teknologi global, baru-baru ini meluncurkan YaFSDP, sebuah metode open-source untuk melatih model machine learning bahasa atau LLM (Large Language Model) yang memungkinkan AI generatif untuk berinteraksi dengan pengguna secara real-time.
Saat ini, YaFSDP merupakan metode paling efektif dalam melatih LLM dibanding metode Fully Sharded Data Parallel (FSDP) lainnya yang tersedia di publik karena mampu meningkatkan efektivitas komunikasi graphics processing unit (GPU) dan mengurangi penggunaan memori.
Perlu diketahui bahwa FSDP merupakan metode pelatihan LLM yang menggunakan sejumlah unit processing untuk mengolah data secara paralel. Dengan YaFSDP, kecepatan bisa ditingkatkan hingga 26% dibandingkan dengan FSDP biasa, tergantung pada arsitektur dan jumlah parameter. Sehingga, waktu pelatihan untuk LLM bisa dikurangi sekaligus menghemat penggunaan sumber daya GPU hingga 20%.
Sebagai bagian dari komitmennya untuk berkontribusi pada komunitas artificial intelligence (AI) global, Yandex membuat YaFSDP tersedia untuk umum bagi para pengembang LLM dan penggemar AI di seluruh dunia.
“Saat ini, kami secara aktif bereksperimen dengan berbagai model arsitektur dan ukuran parameter untuk memperluas manfaat dari YaFSDP,” kata Mikhail Khruschev, Senior Developer Yandex dan Tim YaFSDP. “Kami sangat senang bisa berbagi perkembangan terbaru dalam pelatihan LLM dengan komunitas machine learning (ML) global. Besar harapan kami ini bisa berkontribusi pada peningkatan aksesibilitas dan efisiensi bagi para peneliti dan pengembang AI generatif di seluruh dunia,” jelas Mikhail.
