virprom.com – Chatbot AI populer seperti ChatGPT dan Microsoft Copilot didukung oleh bahasa besar (LLM) yang disebut “GPT-4”.
GPT-4 lebih cerdas dan canggih dibandingkan GPT-3.5 karena memiliki hingga 1,7 juta parameter untuk pembelajaran mesin, masukan yang kaya (teks, gambar), pemahaman bahasa yang lebih baik, hasil tampilan yang lebih baik.
Meskipun memiliki keserbagunaan, GPT-4 tampaknya memerlukan lebih banyak daya. Menurut laporan Towards Data Science, untuk melatih model AI GPT-4 selama 90-100 hari, dibutuhkan listrik sebesar 62.000 MWh. Jumlah ini setara dengan konsumsi energi 1.000 rumah di Amerika selama 5 hingga 6 tahun.
Pada bulan Januari, ChatGPT melaporkan bahwa konsumsi listrik bulanan sekitar 26.000 rumah tangga AS dinilai (input dan output).
Baca Juga: Otak chatbot AI ChatGPT ditanamkan detail chip tentang penggunaan GPT-4
Teknik GPT-4 dimungkinkan karena model AI ini dilatih dengan sekitar 25.000 GPU Nvidia A100 selama 90-100 hari. Biaya pelatihan model ini sekitar 100 juta dollar AS.
Mari kita lihat perhitungan detail kekuatan untuk melatih GPT-4 berdasarkan laporan Towards Data Science.
Misalnya, kita berasumsi bahwa GPU diinstal pada server Nvidia HGX, yang masing-masing dapat menampung 8 GPU. Misalnya, GPT-4 memerlukan 25.000 / 8 = 3.125 server.
Salah satu cara untuk membandingkan konsumsi daya data ini adalah dengan mempertimbangkan daya grafis (TDP) server Nvidia HGX.
TDP, dinyatakan dalam watt, menunjukkan konsumsi daya perangkat keras pada beban maksimum. Konsumsi daya sebenarnya mungkin berbeda.
Nvidia tidak merilis informasi ini, jadi mari kita gunakan TDP server yang sama dengan Nvidia DGX, yaitu 6,5 kW. Jadi, jika server Nvidia DGX berjalan dengan daya penuh selama 1 jam, maka akan mengkonsumsi 6,5 KWh, berdasarkan perhitungan TDP.
Seperti disebutkan di atas, model AI GPT-4 dikatakan membutuhkan waktu 90-100 hari untuk melatih GPT-4. Artinya 90 x 24 jam = 2160 jam per server atau 100 x 24 jam = 2.400 jam per server.
Jika kita berasumsi bahwa server berjalan dengan daya penuh sepanjang waktu, kita dapat mengalikan jamnya dengan 6,5 KWh. Dari situ terlihat saat pelatihan seluruh server menggunakan listrik 14.040 KWh hingga 15.600 KWh.
Karena memerlukan 3.125 server, maka 3.125 x 14.040 KWh = 43.875.000 KWh atau 3.125 x 15.600 = 48.750.000 KWh.
Saat menghitung konsumsi daya perangkat keras komputer, konsumsi daya perangkat keras biasanya dikalikan dengan konsumsi daya (PUE) pusat data tempatnya beroperasi.
Baca juga: Gandeng Broadcom, OpenAI Kembangkan Chip AI Sendiri
PUE adalah ukuran seberapa baik pusat data komputer menggunakan energi.