Amazon dan Hugging Face bekerjasama untuk menjalankan model AI pada cip tersuai

Amazon Web Services (AWS), bahagian pengkomputeran awan Amazon.com, mengumumkan pada hari Rabu (24) perkongsian dengan syarikat permulaan inteligência buatan (AI) Memeluk Muka. Matlamatnya adalah untuk memudahkan menjalankan beribu-ribu model AI pada cip tersuai syarikat. Amazon.

Bernilai $4,5 bilion, Hugging Face telah menjadi hab penting bagi penyelidik dan pembangun AI untuk berkongsi chatbots dan perisian AI yang lain. Permulaan itu mendapat sokongan gergasi seperti Amazon sendiri, Google (Alfabet) dan Nvidia. Ia berfungsi sebagai hab utama untuk mendapatkan dan menala model AI sumber terbuka, seperti Llama 3 daripada Meta Platforms.

Selepas memperhalusi model AI sumber terbuka, pembangun sering melihat untuk melaksanakannya dalam perisian. Perkongsian yang diumumkan akan membolehkan model ini dijalankan pada cip Inferentia2, yang dibangunkan oleh AWS.

“Bagi kami, kecekapan adalah asas. Kami mahu memastikan seramai mungkin orang boleh menjalankan model dengan kos efektif," kata Jeff Boudier, ketua produk dan pertumbuhan di Hugging Face.

AWS berharap dapat menarik lebih ramai pembangun AI kepada perkhidmatan pengkomputeran awannya. Walaupun Nvidia menguasai pasaran latihan model, AWS berhujah bahawa cipnya boleh menjalankan model terlatih ini (satu proses yang dipanggil inferens) pada kos yang lebih rendah dalam jangka masa panjang.

“Anda melatih model ini mungkin sebulan sekali. Tetapi inferens boleh dibuat berpuluh-puluh ribu kali sejam. Di sinilah Inferentia2 menonjol,” menerangkan Matt Wood, bertanggungjawab untuk produk kecerdasan buatan di AWS.

Baca juga: