Alat Avatar AI Khusus Zoom Mungkin Memiliki Risiko

Zoom ingin mengubah Anda menjadi avatar fotorealistik dengan animasi AI – tetapi baru tahun depan.

Fitur yang akan datang, yang diumumkan hari ini di konferensi pengembang tahunan Zoom, akan menerjemahkan klip video yang direkam pengguna menjadi maket digital — lengkap dengan kepala, lengan atas, dan bahu. Pengguna akan dapat mengetikkan skrip apa yang ingin disampaikan oleh digital ganda, dan Zoom akan menghasilkan audio yang disinkronkan dengan gerakan bibir avatar.

Smita Hashim, chief product officer Zoom, mengatakan kepada TechCrunch bahwa avatar khusus dirancang untuk membantu orang mengobrol “secara asinkron” dengan rekan kerja dengan cara yang “lebih cepat dan produktif”.

“Avatar menghemat waktu dan tenaga pengguna saat merekam klip, dan memungkinkan mereka meningkatkan skala pembuatan video,” kata Hashim.

Namun, hal ini juga dapat menimbulkan risiko deepfake.

Sejumlah perusahaan telah mengembangkan teknologi AI untuk “mengkloning” wajah seseorang secara digital dan memasangkannya dengan ucapan sintetis yang terdengar cukup alami. Tavus, misalnya, membantu merek menciptakan persona virtual untuk iklan video yang dipersonalisasi, dan Microsoft tahun lalu meluncurkan layanan yang dapat menghasilkan digital stand-in yang menarik bagi seseorang.

Namun, banyak dari alat-alat ini menerapkan perlindungan yang spesifik dan ketat untuk melindungi dari penyalahgunaan. Tavus memerlukan pernyataan persetujuan lisan, dan Microsoft mengamanatkan bahwa pelanggannya mendapatkan izin dan persetujuan tertulis dari setiap bakat avatar yang ditampilkan.

Zoom kurang jelas mengenai langkah-langkah keamanannya.

Mengacu pada kebijakan penggunaan Zoom yang melarang penyalahgunaan, Hashim mengatakan perusahaan tersebut membangun “banyak perlindungan” ke dalam fitur avatar kustomnya, termasuk “otentikasi lanjutan” dan watermarking.

“Kami akan terus mengkaji dan menambahkan safeguard sesuai kebutuhan ke depan,” kata Hashim. “Kami menggunakan (…) teknologi untuk memperjelas kapan klip dibuat dengan avatar, dan (…) untuk membantu memastikan integritas konten yang dibuat dengan avatar.”

Kemiripan digital Zoom selaras dengan visi CEO Eric Yuan yang lebih luas dalam menciptakan AI yang suatu hari nanti dapat berbicara dalam rapat Zoom untuk Anda, menjawab email, dan menerima panggilan telepon.

Namun kesamaan ini terjadi ketika deepfake menyebar luas di media sosial, sehingga sulit membedakan antara kebenaran dan disinformasi.

Sepanjang tahun ini, deepfake yang menampilkan Presiden Joe Biden, Taylor Swift, dan Wakil Presiden Kamala Harris telah dilihat jutaan kali dan dibagikan ulang. Baru-baru ini, gambar AI generatif palsu tentang kehancuran dan penderitaan manusia membanjiri web setelah Badai Helene.

Deepfake juga telah digunakan untuk menargetkan individu – misalnya dengan meniru orang yang dicintai. Kerugian terkait penipuan peniruan identitas mencapai $1 miliar tahun lalu, menurut FTC.

Bagaimana tepatnya Zoom mencegah penipu menggunakan alatnya untuk membuat video yang berisi orang-orang yang mengatakan hal-hal yang tidak mereka katakan untuk tujuan jahat? Hal ini masih belum jelas. Maket yang disediakan oleh perusahaan menunjukkan tanda air yang terlihat di sudut kanan atas video avatar khusus. Namun watermark seperti ini bisa dengan mudah dihilangkan dengan alat perekam layar.

Kami berharap dapat mempelajari lebih lanjut pada paruh pertama tahun 2025, ketika Zoom berencana merilis avatar khusus untuk Zoom Clips, alat video asinkronnya, sebagai bagian dari add-on premium $12 per pengguna per bulan.

Apa pun langkah yang diambil – atau tidak – diambil oleh Zoom, ada upaya regulasi yang sedang dilakukan untuk mencoba memerangi membanjirnya deepfake.

Karena tidak adanya undang-undang yang mengkriminalisasi deepfake di tingkat federal di AS, lebih dari 10 negara bagian telah memberlakukan undang-undang yang melarang peniruan identitas yang dibantu oleh AI. Undang-undang California – yang saat ini terhenti – akan menjadi undang-undang pertama yang memberikan wewenang kepada hakim untuk memerintahkan agar poster-poster palsu diturunkan atau berpotensi menghadapi hukuman moneter.