Densitas rack di era AI

Dari kilowatt ke ratusan kilowatt

Selama bertahun-tahun, rata-rata daya per rack di datacenter enterprise berada di kisaran 5–10 kW. Server AI mengubah itu. Satu rack berisi akselerator GPU generasi terbaru bisa menarik lebih dari 100 kW, dan peta jalan pabrikan mengarah lebih tinggi lagi.

Perlu dicatat, survei industri menunjukkan sebagian besar rack di dunia masih berdensitas rendah. Rack sangat padat terkonsentrasi di fasilitas yang dibangun khusus untuk AI.

Mengapa begitu padat

Satu GPU kelas atas memakai ratusan watt sampai lebih dari satu kilowatt.
GPU dalam satu kluster harus berdekatan agar latensi jaringan antar-GPU rendah, jadi dipadatkan dalam sedikit rack.
Beban pelatihan AI berjalan mendekati daya penuh untuk waktu lama, tidak naik-turun seperti beban web.

Dampak pada power

Distribusi: busway berarus besar dan sirkuit tiga fase 63 A atau lebih per rack.
Tegangan lebih tinggi: untuk mengurangi arus dan rugi-rugi, industri bergerak ke distribusi DC bertegangan tinggi di dalam rack (misalnya ±400 V atau 800 V DC) dengan rak daya terpisah.
Beban berfluktuasi cepat: kluster pelatihan bisa naik-turun puluhan persen dalam sekejap secara serempak. Ini menekan UPS dan genset, sehingga sebagian desain menambahkan penyimpan energi untuk meredamnya.
Skala: satu kampus AI bisa butuh ratusan megawatt. Ketersediaan listrik dari jaringan kini menjadi pembatas utama pembangunan.

Dampak pada cooling

Di atas kira-kira 30–50 kW per rack, pendinginan udara saja menjadi tidak praktis: jumlah udara yang dibutuhkan terlalu besar. Rack AI umumnya memakai direct-to-chip liquid cooling untuk sebagian besar panasnya, dengan udara menangani sisanya.

Dampak lain

Beban lantai: rack AI yang terisi penuh beserta cairannya bisa berbobot lebih dari 1,5 ton.
Waktu toleransi: bila pendingin berhenti, suhu naik dalam hitungan detik, bukan menit.
Pipa: air kini masuk sampai ke dalam rack, sehingga kualitas air dan deteksi bocor menjadi urusan utama.

Fasilitas campuran

Banyak datacenter akan menampung keduanya: ruang berpendingin udara untuk beban umum dan zona berpendingin cair untuk AI. Merancang agar satu ruangan bisa beralih dari satu ke yang lain adalah tantangan desain saat ini.