Bisnis.com, JAKARTA — Model kecerdasan buatan (AI) terbaru dari Meta, Llama-4 Maverick belum mampu bersaing secara optimal dengan model-model unggulan dari kompetitor
Melansir dari Techcrunch, Minggu (13/4/2025) hal ini terungkap setelah versi standar Maverick, tanpa modifikasi, memperoleh skor yang lebih rendah dibandingkan pesaingnya dalam tolok ukur crowdsourced populer, LM Arena.
Hasil mengecewakan ini muncul setelah kontroversi awal pekan ini, ketika Meta diketahui menggunakan versi eksperimental Llama-4-Maverick-03-26-Experimental untuk memperoleh skor tinggi di LM Arena. Padahal, model yang belum dirilis secara publik
Tindakan tersebut memicu kritik komunitas dan mendorong pengelola LM Arena untuk merevisi kebijakan serta menilai kembali Maverick dengan versi standar Llama-4-Maverick-17B-128E-Instruct.
Hasilnya, model standar Meta tertinggal di belakang model terkemuka seperti GPT-4o milik OpenAI, Claude 3.5 Sonnet dari Anthropic, dan Gemini 1.5 Pro besutan Google.
Menurut Meta, versi eksperimental Maverick telah dioptimalkan khusus untuk skenario percakapan, yang membuatnya tampil lebih baik di LM Arena yang memang menggunakan sistem penilaian berbasis preferensi manusia.
Namun, penyesuaian model demi mengejar skor di tolok ukur tertentu dianggap dapat menyesatkan, karena tidak mencerminkan performa model di berbagai konteks dunia nyata.
Dalam pernyataan kepada TechCrunch, juru bicara Meta menjelaskan bahwa perusahaan secara aktif menguji berbagai varian model, termasuk yang dirancang khusus untuk performa optimal dalam skenario tertentu.
Menurutnya, Llama-4-Maverick-03-26-Experimental adalah versi yang telah optimalkan untuk percakapan dan memang berkinerja baik di LM Arena
“Kami kini telah merilis versi sumber terbuka dan sangat antusias melihat bagaimana para pengembang akan menyesuaikan Llama 4 untuk kebutuhan mereka masing-masing,” ucap juru bicara Meta.
Diberitakan sebelumnya, Meta, perusahaan teknologi milik Mark Zuckerberg, baru saja merilis model AI terbaru Llama 4, dengan tiga koleksi baru yaitu Llama Behemoth, Maverick, dan Llama Scout.
Ketiganya diklaim lebih tangguh dibandingkan dengan model AI yang ada saat ini, salah satunya Gemini milik Google.
"Kami memperkenalkan model pertama dalam rangkaian Llama 4, yang memungkinkan orang untuk membangun pengalaman multimodal yang lebih personal,” tulis Meta dalam blognya, dikutip Minggu (6/4/2025).
Meta mengeklaim bahwa ketiga model terbarunya memiliki keunggulan yang jauh lebih tinggi dibandingkan dengan model-model sebelumnya.
tek
