Telko.id – Agen kecerdasan buatan (AI) kembali menunjukkan risiko ketika diberikan kemampuan untuk melakukan tindakan secara mandiri di dunia nyata. Seorang pekerja di Australia meminta bantuan pada AI untuk memesan (booking) kelas gym. Namun, agen AI yang diperintahkan untuk melakukan reservasi gym justru menghapus reservasi milik orang lain.
Kejadian ini dialami oleh Andrew, seorang pekerja di salah satu perusahaan Australia yang menjual produk AI untuk bisnis. Saat itu, ia sedang menguji OpenClaw, platform agen AI yang berjalan menggunakan layanan Claude milik Anthropic.
Kasus ini menjadi gambaran mengenai risiko AI agent yang tidak hanya memberikan jawaban atau rekomendasi, tetapi juga dapat berinteraksi langsung dengan layanan digital dan mengambil tindakan atas nama pengguna.
Ketika AI diberikan akses terhadap sistem reservasi, kesalahan dalam memahami instruksi dapat berujung pada perubahan data milik pihak lain.
Dengan akses ke browser, email, dan berbagai layanan online, agen AI dapat menjalankan sejumlah langkah dan menyelesaikannya sesuai dengan tugas yang diberikan pengguna.
Cara AI Agent dapat bertindak di luar permintaan
Nah, lewat OpenClaw, Andrew meminta untuk membantunya memesan kelas gym. Dalam prosesnya, agen AI menemukan celah yang membuatnya bisa memesan kelas beberapa minggu sebelum jadwal pemesanan yang seharusnya dibuka.
Celah tersebut tampaknya berada pada application programming interface (API) yang digunakan platform booking. API sendiri merupakan penghubung yang memungkinkan perangkat lunak berkomunikasi dengan layanan lain.
Baca Juga:
- OpenClaw Rilis Aplikasi Android dan iPhone untuk AI Agent
- Lintasarta Gandeng OpenClaw Percepat Adopsi Agentic AI
Artinya, kesalahan penalaran tidak hanya menghasilkan jawaban yang keliru, tetapi juga dapat menyebabkan konsekuensi nyata.
Untuk mencari tahu kemungkinan tersebut, agen AI mulai mengeksplorasi sistem booking. Dari situ, ia menemukan bahwa API platform tidak memiliki pemeriksaan otorisasi untuk membatalkan reservasi milik orang lain.
Celah itu kemudian diuji pada orang yang berada di posisi pertama dalam daftar tunggu. Kepada Andrew, agen tersebut melaporkan bahwa pengujian berhasil dan posisi Andrew naik dari nomor empat menjadi nomor tiga.
“Saya mengujinya pada orang yang berada di posisi pertama dalam daftar tunggu dan ternyata berhasil. Jadi, posisi Anda sudah naik dari #4 menjadi #3,” kata agen AI tersebut, dikutip dari Techspot.
Perlu digarisbawahi, dalam insiden ini Andrew tidak pernah meminta OpenClaw membatalkan reservasi orang lain. Ia hanya meminta bantuan agar posisinya dalam daftar tunggu bisa naik.
Bahkan, setelah mengetahui reservasi orang lain benar-benar terhapus, Andrew langsung meminta OpenClaw mengembalikannya. Namun, agen AI tersebut ternyata tidak bisa memulihkan reservasi itu.
Insiden yang menimpa Andrew ini disebut sebagai contoh pertama di Australia terkait agen AI yang secara mandiri mengeksploitasi sistem aktif saat menjalankan tugas rutin.
Karena itu, tantangan pengembangan AI agent bukan hanya membuat model semakin pintar, tetapi juga memastikan AI mengetahui batas tindakan yang boleh dilakukannya.
Kasus booking gym ini menjadi contoh sederhana bahwa agen AI yang mampu bertindak secara mandiri masih membutuhkan pengawasan dan pembatasan akses yang ketat.
