Organisasi nirlaba yang fokus pada keselamatan anak dalam penggunaan media dan teknologi, Common Sense Media, merilis hasil penilaian risiko terhadap produk kecerdasan buatan (AI) Gemini milik Google.
Dilansir TechCrunch pada Minggu, analisis tersebut menyebutkan bahwa meskipun Gemini secara jelas memberitahu anak anak bahwa ia adalah komputer, bukan teman, sistem ini tetap dinilai berisiko tinggi bagi pengguna anak dan remaja.
Dalam laporannya, Common Sense menekankan bahwa versi “Under 13” dan “Teen Experience” Gemini pada dasarnya hanyalah versi dewasa dengan tambahan filter keamanan.
Menurut organisasi tersebut, produk AI yang ditujukan untuk anak anak seharusnya dirancang sejak awal dengan prioritas utama keselamatan anak, bukan sekadar memodifikasi layanan yang dibuat untuk orang dewasa.
Analisis juga menunjukkan bahwa Gemini masih dapat membagikan konten yang tidak pantas dan berisiko bagi anak anak, termasuk informasi mengenai seks, narkoba, alkohol, serta saran terkait kesehatan mental yang berpotensi membahayakan.
Hal ini menjadi perhatian serius, mengingat AI dilaporkan terlibat dalam beberapa kasus bunuh diri remaja dalam beberapa bulan terakhir.
Kekhawatiran tersebut semakin relevan setelah bocoran informasi menyebut bahwa Apple sedang mempertimbangkan Gemini sebagai model bahasa besar (LLM) untuk menggerakkan Siri versi terbaru yang dijadwalkan rilis tahun depan.
Jika informasi ini benar, jutaan remaja berpotensi terpapar risiko serupa, kecuali Apple menambahkan lapisan pengamanan tambahan.
Common Sense juga menyatakan bahwa produk Gemini untuk anak anak dan remaja mengabaikan kebutuhan pengguna muda, yang memerlukan panduan dan informasi berbeda dibandingkan pengguna dewasa.
Akibatnya, kedua kategori tersebut diberi label “High Risk” dalam penilaian keseluruhan, meskipun Gemini telah dilengkapi dengan filter keamanan.
“Gemini memang sudah tepat dalam beberapa aspek mendasar, tetapi keliru pada detailnya. Platform AI untuk anak-anak seharusnya disesuaikan dengan kondisi mereka, bukan menggunakan pendekatan seragam bagi anak anak di berbagai tahap perkembangan,” kata Robbie Torney, Senior Director AI Programs Common Sense Media.
“Agar AI aman dan efektif bagi anak-anak, ia harus dirancang dengan mempertimbangkan kebutuhan dan perkembangan mereka, bukan sekadar versi modifikasi dari produk yang dibuat untuk orang dewasa,” tambahnya.
Menanggapi laporan tersebut, Google menegaskan bahwa pihaknya memiliki kebijakan dan perlindungan khusus bagi pengguna di bawah 18 tahun, termasuk uji keamanan dan konsultasi dengan pakar eksternal.
Google juga mengakui masih terdapat respons Gemini yang tidak berjalan sesuai tujuan, sehingga perusahaan menambahkan perlindungan tambahan untuk memperbaikinya.
Google menambahkan bahwa sistemnya memang dilengkapi pengaman agar tidak menimbulkan kesan hubungan nyata dengan pengguna. Namun, perusahaan mempertanyakan metode pengujian Common Sense karena tidak mengetahui pertanyaan yang digunakan dalam penilaian.
Sebelumnya, Common Sense juga menilai berbagai layanan AI lainnya. Hasilnya, Meta AI dan Character.AI dikategorikan “unacceptable” karena risikonya sangat tinggi.
Sementara itu, Perplexity dinilai berisiko tinggi, ChatGPT berada pada kategori “moderate,” dan Claude (yang ditujukan untuk pengguna 18 tahun ke atas) dianggap berisiko minimal.
