Cisco IT merancang infrastruktur siap AI dengan komputasi Cisco, GPU terbaik dari NVIDIA, dan jaringan Cisco yang mendukung pelatihan model AI serta inferensi untuk puluhan kasus penggunaan oleh tim produk dan teknik Cisco.
Tidak bisa dipungkiri, tekanan untuk menerapkan AI di seluruh bisnis menimbulkan tantangan bagi tim IT. Tantangan ini memaksa Cisco untuk menerapkan teknologi baru lebih cepat dari sebelumnya dan memikirkan ulang cara membangun data center guna memenuhi permintaan yang terus meningkat di bidang komputasi, jaringan, dan penyimpanan. Meskipun laju inovasi dan kemajuan bisnis sangat menggembirakan, hal ini juga bisa terasa menakutkan.
Bagaimana cara membangun infrastruktur data center yang dibutuhkan untuk mendukung beban kerja AI dengan cepat sekaligus memenuhi kebutuhan bisnis yang kritis? Inilah yang dihadapi oleh tim Cisco, Cisco IT.
Permintaan dari Bisnis
Cisco dihubungi oleh tim produk yang membutuhkan cara untuk menjalankan beban kerja AI. Beban kerja ini akan digunakan untuk mengembangkan dan menguji kemampuan AI baru untuk produk Cisco. Nantinya, infrastruktur ini akan mendukung pelatihan model dan inferensi untuk banyak tim serta puluhan kasus penggunaan di seluruh bisnis. Dan mereka membutuhkannya dengan cepat. Dengan kebutuhan tim produk untuk menghadirkan inovasi kepada pelanggan secepat mungkin, Cisco harus menyediakan lingkungan baru ini hanya dalam waktu tiga bulan.
Persyaratan Teknologi
Cisco mulai dengan memetakan persyaratan untuk infrastruktur AI baru. Jaringan non-blocking dan lossless sangat penting untuk memastikan transmisi data yang andal, dapat diprediksi, dan berkinerja tinggi dalam kluster AI. Ethernet menjadi pilihan utama. Persyaratan lainnya meliputi:
- Buffering cerdas dan latensi rendah: Penting untuk menjaga aliran data yang lancar dan meminimalkan penundaan, serta meningkatkan responsivitas jaringan AI.
- Penghindaran kemacetan dinamis untuk berbagai beban kerja: Beban kerja AI bisa sangat bervariasi dalam hal permintaan sumber daya jaringan dan komputasi. Penghindaran kemacetan dinamis akan memastikan alokasi sumber daya yang efisien dan mencegah penurunan performa selama penggunaan puncak.
- Jaringan front-end dan back-end terpisah, serta fabric non-blocking: Fabric non-blocking akan memastikan bandwidth yang cukup untuk aliran data yang lancar, serta memungkinkan transfer data berkecepatan tinggi — hal yang penting untuk menangani volume data besar yang khas dalam aplikasi AI.
- Otomatisasi untuk operasi Day 0 hingga Day 2: Dari hari pertama penerapan, konfigurasi, hingga manajemen berkelanjutan, Cisco harus mengurangi intervensi manual untuk mempercepat proses dan meminimalkan kesalahan manusia.
- Telemetri dan visibilitas: Kedua kemampuan ini akan memberikan wawasan tentang performa dan kesehatan sistem, memungkinkan manajemen proaktif dan pemecahan masalah.
Rencana dan Tantangan yang Dihadapi
Dengan persyaratan yang sudah ditetapkan, Cisco mulai mencari tempat untuk membangun kluster. Fasilitas data center yang ada tidak dirancang untuk mendukung beban kerja AI. Cisco tahu bahwa membangun dari awal dengan pembaruan data center lengkap akan memakan waktu 18-24 bulan — dan itu bukanlah pilihan. Cisco harus menyediakan infrastruktur AI yang operasional dalam hitungan minggu, jadi Cisco memanfaatkan fasilitas yang sudah ada dengan sedikit perubahan pada kabel dan distribusi perangkat.
Tantangan berikutnya adalah data yang digunakan untuk melatih model. Karena sebagian data tidak disimpan secara lokal di fasilitas yang sama dengan infrastruktur AI, Cisco memutuskan untuk mereplikasi data dari data center lain ke sistem penyimpanan infrastruktur AI untuk menghindari masalah performa terkait latensi jaringan. Tim jaringan Cisco harus memastikan kapasitas jaringan yang cukup untuk menangani replikasi data ini.
Untuk infrastruktur itu sendiri, Cisco merancang inti infrastruktur AI dengan komputasi Cisco, GPU terbaik dari NVIDIA, dan jaringan Cisco. Di sisi jaringan, Cisco membangun jaringan front-end Ethernet dan back-end Ethernet lossless. Dengan model ini, Cisco yakin bisa menerapkan kemampuan AI canggih di lingkungan apa pun dan terus menambahkannya seiring dengan peningkatan fasilitas.
Produk yang Digunakan:
- Cisco 8100 Series dengan Silicon One yang menjalankan SONiC
- Cisco Nexus 9000 Series yang menjalankan NX-OS
- Cisco Nexus Dashboard
- Cisco UCS M7
Mendukung Lingkungan yang Berkembang
Setelah infrastruktur awal tersedia, bisnis menambahkan lebih banyak kasus penggunaan setiap minggu, dan Cisco menambahkan kluster AI tambahan untuk mendukungnya. Cisco membutuhkan cara untuk mempermudah manajemen, termasuk mengonfigurasi switch dan memantau kehilangan paket. Cisco menggunakan Cisco Nexus Dashboard, yang sangat menyederhanakan operasi dan memastikan Cisco bisa tumbuh dan berkembang untuk masa depan. Cisco sudah menggunakannya di bagian lain operasi data center, jadi mudah untuk memperluasnya ke infrastruktur AI tanpa perlu mempelajari alat baru.
Hasil yang Dicapai
Tim Cisco mampu bergerak cepat dan mengatasi beberapa hambatan dalam merancang solusi ini. Cisco berhasil merancang dan menerapkan backend jaringan AI dalam waktu kurang dari tiga jam, serta menyelesaikan seluruh kluster dan jaringan AI dalam tiga bulan — 80% lebih cepat daripada opsi pembangunan ulang.
Saat ini, lingkungan ini mendukung lebih dari 25 kasus penggunaan di seluruh bisnis, dengan penambahan setiap minggu. Beberapa contohnya meliputi:
- Webex Audio: Meningkatkan pengembangan codec untuk noise cancellation dan prediksi data bandwidth rendah.
- Webex Video: Pelatihan model untuk penggantian latar belakang, pengenalan gestur, dan penanda wajah.
- Pelatihan LLM khusus untuk produk dan kemampuan keamanan siber.
Tidak hanya memenuhi kebutuhan bisnis saat ini, Cisco juga merancang evolusi data center untuk masa depan. Cisco sedang membangun lebih banyak kluster dan akan membagikan detail lebih lanjut tentang perjalanan Cisco di blog mendatang. Modularitas dan fleksibilitas jaringan, komputasi, dan keamanan Cisco memberi Cisco keyakinan bahwa Cisco bisa terus berkembang seiring dengan bisnis.
Ingin Konsultasi lebih lanjut? silahkan hubungi sales kami sales@zealotus.biz.id sekarang juga! atau bisa hubungi nomor whatsapp kami disini. GRATIS!! Kami akan memberikan penawaran harga terbaik yang sesuai dengan kebutuhan Anda. Zealotus Network tempat sewa dan jual Produk IT Termurah, Terpercaya dan Terbaik di Jakarta.
