BANTEN — AI lokal menjalankan model kecerdasan buatan langsung di PC, laptop, atau server milik sendiri, bukan di server penyedia cloud. Pendekatan ini memungkinkan pemrosesan dokumen secara offline dan kendali data lebih besar, tetapi menuntut spesifikasi hardware yang memadai. Perbedaannya dengan layanan seperti ChatGPT dan Google Gemini terletak pada lokasi pemrosesan.
Model AI lokal dipasang dan dijalankan menggunakan sumber daya perangkat sendiri, sehingga pengguna tidak perlu mengunggah dokumen ke server pihak ketiga. Jika seluruh komponen sudah tersedia, model bisa dipakai tanpa koneksi internet sama sekali.
Proses mengunduh model, memperbarui aplikasi, atau mengakses fitur online tertentu tetap memerlukan internet. Setelah terpasang, barulah model berjalan mandiri di perangkat.
AI lokal adalah model kecerdasan buatan yang diproses langsung di perangkat atau server lokal yang dikelola sendiri. Contoh pemakaiannya: menjalankan model di PC untuk menjawab pertanyaan atau merangkum dokumen.
Pemrosesan memakai RAM, VRAM, dan storage milik komputer tersebut. Tidak ada permintaan yang dikirim ke infrastruktur penyedia layanan cloud.
Kata kuncinya ada pada tempat pemrosesan. AI lokal berjalan di laptop, PC, atau server sendiri. Layanan AI cloud memproses permintaan di server penyedia yang diakses lewat internet.
Konsekuensinya, AI lokal memberi kendali lebih besar atas data. Selama aplikasi benar-benar berjalan lokal dan tidak mengirim data keluar perangkat, dokumen tidak perlu diunggah ke server pihak ketiga.
Sebaliknya, AI cloud membebaskan pengguna dari urusan hardware. Pengguna tidak perlu tahu seberapa kuat spesifikasi server ChatGPT, yang penting menerima hasilnya.
Ada tiga manfaat utama yang ditawarkan pendekatan ini. Pertama, model yang sudah terpasang bisa berjalan tanpa internet selama tidak membutuhkan layanan online tambahan.
Kedua, pemrosesan di perangkat sendiri membuat data tidak harus dikirim ke layanan cloud. Ketiga, pengguna bisa menjalankan model lokal tanpa membayar biaya langganan layanan AI tertentu, meski biaya hardware dan listrik tetap diperhitungkan.
Kendala terbesar AI lokal ada pada kemampuan hardware. Model tertentu memerlukan RAM atau VRAM yang cukup besar, ditambah kapasitas storage memadai.
Sebagai gambaran, perangkat dengan RTX Spark membawa CPU 20-core, GPU Blackwell RTX dengan 6.144 CUDA core, unified memory hingga 128 GB, dan storage sampai 2 TB. Spesifikasi itu menghasilkan performa AI 1 Petaflop FP4, cukup untuk menjalankan model hingga 120 miliar parameter dengan context window 1 juta token langsung di perangkat.
Kekurangan lain: kemampuan model lokal bervariasi dan belum tentu sekuat model cloud, bergantung pada ukuran dan kemampuannya. Pengguna juga perlu memasang aplikasi, mengunduh model, dan mengatur sejumlah parameter sebelum bisa memakainya.
Ollama menjadi salah satu opsi untuk mengunduh dan menjalankan berbagai model AI di komputer sendiri. Untuk pembuatan gambar, Stable Diffusion bisa dijalankan secara lokal lewat perangkat lunak yang kompatibel.
Pilihan antara AI lokal dan AI cloud bergantung pada kebutuhan, perangkat yang dimiliki, dan jenis pekerjaan yang ingin diselesaikan. Pengguna yang mengutamakan privasi dokumen dan sering bekerja tanpa internet punya alasan kuat mencoba AI lokal, asalkan hardware-nya siap.