Nvidia Instant NeRF: Teknologi Ubah Foto 2D jadi Render 3D
 |
| Instant NeRF adalah model rendering saraf yang mempelajari adegan 3D resolusi tinggi dalam hitungan detik. (Foto/Nvidia) |
Nvidia telah meluncurkan model Artificial Intelligence (AI) terbarunya yang disebut Instant NeRF yang dapat mengubah serangkaian foto 2D menjadi pemandangan 3D yang dirender.
Ketika foto instan pertama diambil 75 tahun yang lalu dengan kamera Polaroid, berhasil "menangkap dunia 3D dalam gambar 2D yang realistis," seperti yang diingat Nvidia dalam sebuah pernyataan.
Sekarang, perusahaan mengklaim untuk mencapai hal yang sebaliknya: "Ubah koleksi foto menjadi adegan 3D dalam hitungan detik."
Dikenal sebagai "rendering terbalik", proses ini menggunakan AI untuk "menaksir perilaku cahaya di dunia nyata dengan memungkinkan para peneliti merekonstruksi adegan 3D dari beberapa gambar 2D yang diambil dari sudut yang berbeda."
Untuk pendekatan ini, Nvidia telah menggunakan teknologi berdasarkan NeRF (Neural Radiance Field), yang disebut Instant NeRF, yang menggunakan jaringan saraf untuk mewakili dan membuat adegan 3D realistis berdasarkan kumpulan gambar 2D.
Seperti yang dipertahankan perusahaan, ini adalah "yang tercepat hingga saat ini ". "Model ini hanya membutuhkan beberapa detik untuk melatih beberapa lusin foto, ditambah data dari sudut kamera yang mereka ambil, dan kemudian dapat merender adegan 3D yang dihasilkan dalam puluhan milidetik," mempercepat proses hingga 1000x .
Perusahaan menjelaskan tentang proses ini bahwa "dalam adegan yang menyertakan orang atau elemen bergerak lainnya, semakin cepat fotonya, semakin baik." Dalam hal ini, jika ada terlalu banyak mobilitas selama proses pengambilan 2D, pemandangan 3D yang dihasilkan oleh AI "akan buram".
Dari sana, teknologi NeRF mengisi kekosongan dan merekonstruksi pemandangan dengan memprediksi warna radiasi cahaya ke segala arah.
Dari perusahaan, mereka meyakinkan bahwa peneliti mereka telah mengerjakan Instant NeRF "selama beberapa tahun" dan bahwa teknologi mereka "adalah salah satu yang tercepat" yang berhasil mengurangi waktu rendering dari "beberapa menit" menjadi diproduksi "hampir seketika" .
Nvidia menyarankan bahwa Instant NeRF "dapat digunakan untuk membuat avatar dan adegan di dunia virtual", serta "menangkap peserta konferensi video dan lingkungan mereka dalam 3D atau untuk merekonstruksi adegan untuk peta digital 3D".