Apple meluncurkan empat model open-source terbaru yang diklaim dapat meningkatkan keakuratan AI

Apple secara terbuka membagikan empat model AI berbasis open source yang menawarkan akurasi yang ditingkatkan untuk kueri. Alat ini diklaim dapat membantu pengembangan model AI di masa mendatang. Seiring industri teknologi terus berpacu dengan perkembangan AI, Apple terus menawarkan lebih banyak gambaran tentang teknologi yang sedang dikerjakannya. Dalam rilis publik terbaru, Apple dikabarkan merilis kuartet model open-source.

Disebut sebagai Open Source Efficient LLMs, atau OpenELMs, model instruktur ini di-hosting di platform kolaboratif Hugging Face. Di sini Hugging Face digunakan untuk menjadi tuan rumah model AI, serta untuk melatih mereka dan bekerja dengan orang lain untuk melakukan perbaikan.

OpenELMs ini mengacu pada pustaka open source yang menggabungkan beberapa model bahasa besar (LLM) menggunakan algoritme evolusioner. Keempat model OpenELMs menggunakan strategi penskalaan berdasarkan lapisan untuk mengalokasikan parameter dalam lapisan model transformator untuk meningkatkan akurasi.

Model-model tersebut telah dilatih sebelumnya menggunakan pustaka CoreNet. Apple menyediakan model pra-pelatihan dan model yang disesuaikan dengan instruksi menggunakan parameter 270 juta, 450 juta, 1,1 miliar, dan 3 miliar.

Kumpulan data pra-pelatihan menggunakan kombinasi subset Dolma v1. 6, RefinedWeb, deduplicated PILE, dan subset RedPajama. Ini menghasilkan kumpulan data dengan sekitar 1,8 triliun token.

Para peneliti di balik proyek tersebut mengatakan bahwa reproduktivitas dan transparansi model bahasa besar sangat penting untuk memajukan penelitian terbuka. Ini juga membantu memastikan hasil yang dapat dipercaya, dan memungkinkan penyelidikan terhadap bias dan risiko model.

Mengenai keakuratan model, dijelaskan bahwa dengan menggunakan anggaran parameter sebesar satu miliar parameter, OpenELMs memiliki peningkatan akurasi sebesar 2,36% dibandingkan OLMo, sementara membutuhkan setengah dari jumlah token pra-pelatihan.

Ini bukan rilis publik pertama Apple tentang rutinitas AI. Pada Oktober tahun lalu, Apple membagikan LLM open source bernama Ferret, yang meningkatkan cara model menganalisis gambar. Lalu April lalu, versi baru Ferret menambahkan kemampuan untuk mengurai titik data dalam tangkapan layar aplikasi dan untuk memahami cara kerja aplikasi secara umum.