Saat organisasi mempercepat inovasi, mengembangkan produk-produk bertenaga AI yang mengubah kehidupan seperti mobil otonom atau model bahasa besar (LLM), infrastruktur yang efisien menjadi kunci untuk mengskalakan operasi dan tetap kompetitif. Secara historis, pusat data telah berfokus pada penggunaan unit pemrosesan pusat (CPU) untuk komputasi umum dan unit pemrosesan grafis (GPU) untuk tugas pemrosesan paralel intensif yang menjadi inti dari AI dan pembelajaran mesin. Seiring berkembangnya model AI dalam skala dan kompleksitas, pusat data telah menjadi unit komputasi baru, mendorong batas-batas jaringan cloud tradisional. Untuk memungkinkan transformasi menuju komputasi skala pusat data, unit pemrosesan data (DPU) muncul sebagai pilar ketiga dalam komputasi.
Munculnya Pabrik AI
Dalam seri pabrik AI sebelumnya, F5 mendefinisikan pabrik AI sebagai investasi besar dalam penyimpanan, jaringan, dan komputasi yang melayani kebutuhan pelatihan dan inferensi dengan volume tinggi dan kinerja tinggi. Seperti pabrik manufaktur tradisional, pabrik AI memanfaatkan model AI yang sudah dilatih sebelumnya untuk mengubah data mentah menjadi kecerdasan.
Apa itu Data Processing Unit (DPU)?
DPU adalah prosesor yang dapat diprogram yang dirancang untuk menangani pergerakan dan pemrosesan data besar melalui akselerasi perangkat keras pada kecepatan jaringan. Pada akhir 2024, kami mengumumkan BIG-IP Next untuk Kubernetes yang diterapkan pada NVIDIA BlueField-3 DPU. NVIDIA BlueField adalah platform komputasi terakselerasi untuk infrastruktur pusat data, dibangun khusus untuk mendukung pabrik AI NVIDIA. Sementara CPU bertanggung jawab untuk komputasi umum pada aplikasi komputasi dan GPU unggul dalam tugas komputasi terakselerasi seperti perhitungan vektor dan matriks skala besar yang terkait dengan AI serta rendering grafis, NVIDIA BlueField DPU sering diintegrasikan ke dalam kartu antarmuka jaringan (NIC) PCIe (peripheral component interconnect express), yang bertanggung jawab untuk konektivitas jaringan untuk host atau sasis dari sebuah cluster AI. Dengan kata lain, NIC kini pada dasarnya telah menjadi prosesor yang kuat, dioptimalkan untuk memproses data saat bergerak masuk dan keluar dari server. BlueField DPU juga dapat berfungsi sebagai perangkat jaringan antar-cluster ketika banyak host atau sasis ada dalam satu cluster AI.
DPU adalah prosesor yang dapat diprogram yang dirancang untuk menangani pergerakan dan pemrosesan data besar melalui akselerasi perangkat keras pada kecepatan jaringan.
Kekuatan yang Tercapai
Dengan menangani jaringan yang didefinisikan oleh perangkat lunak, manajemen penyimpanan, dan layanan keamanan, BlueField DPU mengurangi beban komputasi pada CPU, memungkinkan CPU untuk fokus pada tugas-tugas yang menjadi keahliannya. Kemampuan pemindahan beban ini sangat penting untuk pabrik AI, di mana sejumlah besar data harus diproses dan dipindahkan dengan cepat untuk memenuhi tuntutan model AI yang kompleks dan tugas inferensi waktu nyata.
BlueField DPU berkontribusi secara signifikan terhadap efisiensi energi dan skalabilitas di dalam pabrik AI. Karena pabrik AI membutuhkan sumber daya komputasi yang besar, pengelolaan daya dan pendinginan yang efisien menjadi sangat penting. DPU, dengan mesin akselerasi khusus dan antarmuka jaringan berperforma tinggi, memastikan data diproses dan dipindahkan dengan latensi dan konsumsi daya yang minimal. Efisiensi ini tidak hanya mengurangi biaya operasional tetapi juga memungkinkan pabrik AI untuk berkembang secara efektif. Dengan BlueField DPU, pabrik AI dan infrastruktur skala besar dapat mencapai infrastruktur yang seimbang, berperforma tinggi, dan efisien yang mendukung inovasi dan penerapan teknologi AI secara berkelanjutan.
Di mana BlueField DPU diterapkan dalam pabrik AI?
Ketika melihat Arsitektur Referensi AI F5, DPU umumnya diterapkan dalam area fungsional seperti manajemen korpus RAG, fine-tuning, pelatihan, dan layanan inferensi serta kluster penyimpanan yang mendukung fungsi-fungsi ini. Selain itu, DPU ditemukan dalam berbagai aplikasi di mana throughput data berperforma tinggi dan efisiensi daya diperlukan, termasuk contoh seperti DPU yang mendukung penerapan jaringan akses radio 5G (RAN).
Pemindahan dan percepatan pengiriman aplikasi dan keamanan ke DPU
Kebutuhan baru untuk manajemen lalu lintas yang efisien dan keamanan yang kuat untuk pabrik AI mewakili perubahan penting yang berfokus pada aliran data dan infrastruktur yang diperkuat untuk mencegah ancaman keamanan. F5 BIG-IP Next untuk Kubernetes yang diterapkan pada NVIDIA BlueField-3 DPU memungkinkan konektivitas dengan latensi rendah dan throughput tinggi dengan memindahkan dan mempercepat pergerakan data dari CPU ke DPU. Selain itu, ia mengintegrasikan fitur keamanan komprehensif, seperti firewall, mitigasi DDoS, WAF, perlindungan API, dan pencegahan intrusi, langsung pada DPU NVIDIA BlueField-3 yang dapat diprogram. Ini memungkinkan Anda untuk membuat arsitektur yang mengisolasi model dan aplikasi AI dari ancaman, memastikan integritas dan kedaulatan data.
BIG-IP Next untuk Kubernetes mendukung multi-tenant, memungkinkan hosting banyak pengguna dan beban kerja AI pada satu infrastruktur, memungkinkan isolasi jaringan. Mengelola infrastruktur AI skala besar menjadi mudah dengan BIG-IP Next untuk Kubernetes, karena menyediakan titik pusat untuk mengelola jaringan, manajemen lalu lintas, keamanan, dan lingkungan multi-tenant. Ini menyederhanakan operasi dan mengurangi pengeluaran operasional dengan menawarkan data lalu lintas terperinci untuk visibilitas jaringan dan optimalisasi kinerja. Integrasi antara BIG-IP Next untuk Kubernetes dan NVIDIA BlueField-3 DPU membantu memastikan pabrik AI beroperasi pada potensi penuh mereka sambil mengurangi penyebaran alat dan kompleksitas operasional.
Didukung oleh F5
Bagi perusahaan yang berinvestasi dalam AI, memastikan infrastruktur mereka dioptimalkan dan aman adalah hal yang tidak bisa dinegosiasikan. F5 BIG-IP Next untuk Kubernetes yang diterapkan pada NVIDIA BlueField-3 DPU adalah investasi strategis untuk memberikan kinerja tinggi, skalabilitas, dan keamanan, memaksimalkan pengembalian investasi dalam infrastruktur AI skala besar. Untuk organisasi yang menerapkan GPU dan DPU untuk mendukung investasi pabrik AI, hubungi F5 untuk mempelajari bagaimana BIG-IP Next untuk Kubernetes dapat meningkatkan beban kerja AI Anda.