Tenagai AI, Arm ungkap KleidiAI dan CSS for Client Pada COMPUTEX 2024
Pada COMPUTEX 2024, Arm melalui Rene Haas (Chief Executive Officer Arm) mengungkapkan KleidiAI dan CSS for Client yang diklaim membuatnya makin bisa menenagai AI. Arm KleidiAI untuk para pengembang peranti lunak, sedangkan Arm CSS for Client untuk para pengembang peranti keras.
Didorong generative AI, AI (artificial intelligence) kini berkembang pesat dan diyakini banyak pihak akan terus berkembang pesat. Arm menegaskan via keynote-nya pada COMPUTEX 2024 di Taipei, Taiwan, 3 Juni 2024 bahwa arsitektur-arsitektur Arm beserta produk-produk yang menggunakannya bisa menenagai AI. Tidak hanya perihal hemat energi yang menjadi ciri dari prosesor berarsitektur Arm, Arm pun mengungkapkan KleidiAI dan CSS (Compute Subsystems) for Client yang mampu meningkatkan kinerja AI. Alhasil Arm mengeklaim makin bisa menenagai AI, bukan hanya sekarang melainkan juga pada masa depan.
Sejalan dengan perkembangan AI yang dimaksud, kebutuhan akan komputasi belakangan meningkat pesat. Begitu pula kebutuhan akan energi listrik pusat data yang menghadirkannya. Arm menyebutkan bahwa pada akhir dekade ini diproyeksikan 20% energi dari jaringan listrik Amerika Serikat akan dipakai oleh pusat-pusat data di sana. Bila peningkatan ini terus berlanjut, Arm tidak yakin akan tersedia energi dalam jumlah yang cukup untuk menenagainya. Diperlukan perubahan dan itu adalah prosesor yang lebih hemat energi dus prosesor dengan arsitektur Arm: menggunakan lebih banyak prosesor berarsitektur Arm pada pusat-pusat data.
Arm menyebutkan sejumlah prosesor dengan arsitektur Arm yang digunakan pada pusat-pusat data bisa memberikan penghematan energi dibandingkan yang memakai arsitektur lain. AWS Graviton contohnya diklaim lebih hemat sekitar 60%.
“Kami dilahirkan untuk menjadi hemat energi. Itu ada di dalam DNA dari perusahaan. Itu adalah semua yang kami tahu. Dan itu benar-benar telah melayani kami dengan baik sepanjang lebih dari 30 tahun terakhir,” ujar Rene Haas (Chief Executive Officer Arm). “Dan yang makin sering kita lihat di pusat data adalah suatu pergerakan yang sangat cepat menuju Arm. [AWS] Graviton adalah mitra pertama yang bekerja sama dengan kami, dengan lebih dari 60% penghematan energi dari generasi sebelumnya yang menggunakan la, menggunakan arsitektur lain. Microsoft mengumumkan produk mereka Cobalt, 40% lebih hemat.”
Arm mengeklaim prosesor beraksitektur Arm sebagai yang paling banyak dikapalkan di dunia. Jauh lebh banyak dari prosesor dengan arsitektur lain.
Namun, agar AI, termasuk generative AI hadir pada berbagai aplikasi dan bisa makin bermanfaat bagi umat manusia, AI perlu untuk berjalan di mana saja. Saat ini, training dan inference berbagai perkakas AI populer dilakukan di sejumlah cloud, tetapi beberapa AI inference lain mulai berjalan secara lokal di perangkat-perangkat pengguna akhir. Agar AI yang berjalan di suatu perangkat pengguna akhir bisa optimal dari sisi kinerja dan daya, kinerja yang mumpuni diperlukan dari sisi peranti lunak maupun peranti keras.
Di sinilah antara lain peran Arm KleidiAI dan Arm CSS for Client yang sebelumnya telah diumumkan. Arm KleidiAI adalah bagian dari Arm Kleidi dan ditujukan untuk para pengembang peranti lunak, sedangkan Arm CSS for Client ditujukan untuk para pengembang peranti keras: perancang/pembuat cip. Keduanya diklaim bisa memberikan kinerja yang lebih baik bagi perangkat-perangkat pengguna akhir dalam menjalankan AI. Lagi pula, dengan banyaknya perangkat pengguna akhir yang ditenagai cip berasitektur Arm, Arm pun perlu memastikan AI bisa berjalan dengan baik pada perangkat-perangkat itu dan terus mempertahankan keunggulannya dari sisi jumlah.
Arm memang mengeklaim prosesor beraksitektur Arm sebagai yang paling banyak dikapalkan di dunia. Arm mengeklaim jumlah cip beraksitektur Arm yang dikapalkan di dunia hingga kini adalah sekitar 300 miliar. Jauh lebih banyak dibandingkan prosesor dengan arsitektur lain. Sedikit banyak hal yang dimaksud berkat banyaknya penggunaan smartphone serta perangkat pintar lain di dunia. Smartphone tentunya adalah perangkat pengguna akhir dan sebagian dari perangkat pintar lain juga adalah perangkat pengguna akhir.
Tak hanya itu, Arm menekankan pula perihal ekosistem peranti lunaknya. Bahkan Arm mengeklaim bahwa ekosistem peranti lunaknya tidak ada duanya di dunia. Dengan lebih dari 18 juta pengembang, Arm pun mengeklaim lebih banyak pengembang peranti lunak yang mengembangkan aplikasi untuk prosesor berarsitektur Arm dibandingkan untuk prosesor dengan arsitektur lain di dunia. Kini berbagai sistem operasi besar di dunia seperti Linux, Windows, dan iOS sudah bisa berjalan pada Arm dengan baik.
Chris Bergey (Senior Vice President and General Manager, Client Line of Business, Arm) menjelaskan mengenai Arm CSS for Client pada COMPUTEX 2024 yang antara lain menawarkan peningkatan kinerja dan efisiensi energi.
Jamaknya penggunaan aneka prosesor beraksitektur Arm dan aplikasi-aplikasi yang berjalan padanya di dunia disebutkan Arm turut didorong oleh strateginya yang menyediakan alat-alat yang bisa membantu para pengembang memanfaatkan berbagai arsitektur Arm maupun produk-produk berasitektur Arm. Arm menyediakan platform komputasi seperti TCS (Total Compute Solutions) untuk para pengembang peranti keras dan aneka perkakas pengembangan peranti lunak untuk para pengembang peranti lunak.
Arm KleidiAI
Arm KleidiAI adalah bagian dari Arm Kleidi yang merupakan program yang bertujuan untuk memudahkan para pengembang peranti lunak mengakselerasi AI pada produk-produk berasitektur Arm. Arm Kleidi pun bertujuan para pengembang peranti lunak itu bisa melakukannya dengan setiap model dan setiap beban kerja. Saat ini, selain Arm KleidiAI juga ada Arm KleidiCV. Arm KleidiAI dijelaskan sebagai performance library untuk seluruh kerangka kerja AI, sedangkan Arm KleidiCV dijelaskan sebagai performance library untuk aneka kerangka kerja computer vision. Arm Kleidi termasuk dalam berbagai perkakas pengembangan peranti lunak yang disebutkan tadi.
Arm Cortex-X925 diklaim bisa memberikan kinerja yang lebih baik dibandingkan CPU generasi sebelumnya, termasuk untuk AI. Arm Cortex-X925 misalnya bisa memberikan kinerja yang lebih tinggi sebesar 41% dibandingkan Arm Cortex-X4 pada TinyLlama untuk TTFT (time to first token).
“AI perlu untuk dijalankan benar-benar di mana saja. Namun, yang menjadi permasalahan, pengembang peranti lunak Anda adalah, mereka hanya mengingingkan hal itu untuk bekerja,” sebut Rene Haas. “Kami memiliki jawabannya untuk permasalahan itu. Dan itu disebut Kleidi,” lanjutnya sembari menekankan pentingnya peranti lunak dalam memanfaatkan peranti keras untuk memberikan manfaat.
Arm KleidiAI memudahkan suatu pengembang peranti lunak untuk menghadirkan AI pada peranti lunaknya yang berjalan secara optimal pada prosesor-prosesor dengan arsitektur Arm. Pengembang itu “cukup” membuat peranti lunaknya, saat menggunakan AI, memanggil Arm KleidiAI untuk memanfaatkan berbagai fitur perihal AI yang tersedia pada prosesor-prosesor dengan arsitetur Arm bersangkutan. Dengan banyaknya yang menggunakan cip berarsitektur Arm plus KleidiAI dan sejenisnya, Arm sesumbar bahwa masa depan AI dibangun di atas Arm; masa depan AI ditenagai oleh Arm.
Arm pun mencontohkan bahwa pada salah satu generative AI yang menggunakan Llama, KleidiAI berhasil meningkatkan kinerja sebesar 190%. Peningkatan kinerja berkat Arm KleidiAI yang sebesar 190% ini diklaim sepenuhnya berkat Arm KleidiAI. Pasalnya, peranti keras yang digunakan adalah sama, bukan yang berbeda atau baru. Ke depannya Arm yakin peningkatan kinerja yang ditawarkan akan lebih tinggi lagi sejalan dengan makin familiernya para pengembang peranti lunak memakai Arm KleidiAI. Arm mengantisipasi lebih dari 100 miliar perangkat berasitektur Arm siap untuk AI pada akhir tahun 2025 berkat Kleidi.
Arm CSS for Client
Arm CSS for Client adalah kelanjutan dari Arm TCS yang merupakan platform untuk membantu para pengembang peranti keras seperti yang telah disebutkan tadi. Tahun lalu, seperti yang bisa dilihat di sini, Arm mengungkapkan TCS23 (TCS 2023). Terdapat sejumlah hal yang dikedepankan Arm untuk CSS for Client pada COMPUTEX 2024. Dua di antaranya adalah CPU dan GPU baru, yakni Arm Cortex-X925 dan Arm Immortalis-G925. Sebenarnya, unsur CPU dari Arm CSS for Client juga mencakup sejumlah CPU lain, begitu pula unsur GPU yang mencakup sejumlah GPU lain. Namun, yang disorot adalah Arm Cortex-X925 dan Arm Immortalis-G925, keduanya adalah yang tertinggi.
“Untuk platform generasi berikutnya ini, CPU Arm baru ini menghadirkan IPC Arm tertinggi dengan peningkatan lebih dari dua digit dalam instructions per clock. Kami mengambil kepemimpinan kami pada GPU dan memajukannya lebih jauh dengan peningkatan pada ray tracing, tambahan kinerja, dan efisiensi,” jelas Chris Bergey (Senior Vice President and General Manager, Client Line of Business, Arm).
Adapun Arm TCS sendiri, dulu disebutkan hadir sebagai cara untuk mengatasi tantangan-tantangan dalam mendesain SoC dengan melihat domain komputasi secara keseluruhan agar beroleh peningkatan kinerja yang lebih baik. Arm TCS23 yang diungkapkan tahun lalu, unsur CPU-nya menawarkan beberapa CPU, yakni Arm Cortex-X4, Arm Cortex-A720, dan Arm Cortex-A520. Sementara, unsur GPU-nya menawarkan Arm Immortalis-G720, Arm Mali-G720, dan Arm Mali-G620. Varian tertinggi adalah Arm Cortex-X4 dan Arm Immortalis-G720. Arm TCS23 menyasar berbagai perangkat seperti STB (set-top box), smart TV, smartphone, dan laptop.
Sebagai CPU yang paling tinggi pada Arm CSS for Client (tahun ini), Arm Cortex-X925 memiliki nama yang sedikit berbeda dari sebelumnya yang Arm Cortex-X4, Arm Cortex-X3, dan seterusnya. Arm berdalih hal ini untuk menegaskan arsitektur Armv9.2 yang dipakai plus peningkatan antargenerasi yang paling tinggi yang dihadirkan Arm Cortex-X925. Arm Cortex-X925 diklaim bisa memberikan kinerja yang lebih tinggi sebesar 41% dibandingkan Arm Cortex-X4 pada TinyLlama untuk TTFT (time to first token). Kinerja AI yang lebih tinggi memang menjadi salah satu unggulan dari Arm Cortex-X925, begitu juga Arm Immortalis-G925.
Selain kinerja AI, Arm pun mengeklaim Cortex-X925 bisa memberikan kinerja yang lebih tinggi sebesar 36% dibandingkan smartphone premium Android tahun 2023 pada Geekbench 6.2 untuk single core. Namun, kinerja single core Arm Cortex-X925 pada Geekbench 6.2 yang bisa lebih tinggi 36% dari smartphone premium Android tahun 2023 ini, dicapai bukan hanya karena peningkatan IPC (instructions per cycle/clock) melainkan berkat frekuensi kerja alias clock yang lebih tinggi pula.
Seperti Arm Cortex-X925, Arm Immortalis-G925 juga disebutkan menawarkan peningkatan kinerja yang signifikan dibandingkan generasi sebelumnya. Arm mengeklaim Immortalis-G925 bisa memberikan peningkatan kinerja rata-rata sebanyak 37% dibandingkan Arm Immortalis-G720 untuk aplikasi grafis. Sementara AI, Arm menyebutkan Immortalis-G925 bisa memberikan peningkatan kinerja rata-rata sejumlah 34% (di situs Arm dituliskan 36%) dibandingkan Immortalis-G720 untuk inference. Namun peningkatan ini diperoleh dengan membandingkan antara Arm Reference Platforms: Arm Immortalis-G925 yang memiliki empat belas core dengan Arm Immortalis-G720 yang memiliki dua belas core.
Adapun untuk gim seluler, Arm Immortalis-G925 diklaim bisa memberikan peningkatan kinerja rata-rata sebanyak 46% dibandingkan Arm Immortalis-G720. Khusus untuk ray tracing, Arm Immortalis-G925 disebutkan bisa memberikan peningkatan kinerja hingga 52% dibandingkan Arm Immortalis-G720. Menariknya lagi, untuk kinerja yang sama dengan Arm Immortalis-G720 dalam menjalankan sejumlah gim seluler populer, Arm Immortalis-G925 membutuhkan energi yang lebih hemat 30%.
Selain itu, Arm menekankan pula bahwa untuk para CPU dan GPU, CSS for Client menyertakan implementasi-implementasi fisik yang siap produksi pada technology node kelas 3 nm sejumlah pabrik fabrikasi semikonduktor. Arm menjelaskan aneka implementasi yang dimaksud membolehkan para mitranya untuk mendapatkan seluruh manfaat dari technology node kelas 3 nm sembari membolehkan desain-desain silikon yang fleksibel dan bisa dilakukan kustomisasi.