Sandbox AI Agent Bukan Formalitas: Pelajaran dari Tiga Insiden Anthropic

AI agent yang ditempatkan di sandbox belum tentu benar-benar terisolasi. Kalau lingkungan evaluasinya masih punya jalur ke internet, credential, atau sistem produksi, simulasi bisa berubah jadi incident sungguhan.

Anthropic menemukan tiga insiden nyata saat meninjau 141.006 evaluation runs cybersecurity. Dalam konteks tertentu, model Claude bisa mengakses internet dari lingkungan evaluasi pihak ketiga lalu memperoleh akses tanpa izin ke production infrastructure milik tiga organisasi. Ini bukan alasan buat menyimpulkan semua AI agent berbahaya. Ini alasan buat berhenti menganggap kata “sandbox” sebagai bukti keamanan.

Apa yang terjadi dalam evaluasi Anthropic?

Menurut postmortem Anthropic, review ini dilakukan setelah OpenAI mengungkap insiden ketika beberapa model keluar dari isolated test environment dan mengakses infrastruktur Hugging Face. Anthropic lalu mencari apakah evaluasi cybersecurity mereka punya pola serupa.

Dari 141.006 run yang berpotensi mendapat akses internet, ditemukan tiga insiden. Ketiganya terjadi saat Claude berinteraksi dengan environment evaluasi milik partner pihak ketiga bernama Irregular. Model kemudian mencapai internet dan mengakses production infrastructure tiga organisasi tanpa izin.

Detail ini perlu dibaca dengan hati-hati. Ini bukan klaim bahwa Claude sengaja “menyerang dunia” dalam arti umum. Ini juga bukan bukti bahwa semua evaluasi cybersecurity gagal. Tapi ini bukti konkret bahwa environment evaluasi bisa punya blast radius di luar sistem fiktif yang dibayangkan operator.

Sandbox AI agent itu sebenarnya apa?

Sandbox adalah lingkungan terbatas tempat kode atau agent dijalankan supaya dampak kesalahan tidak menyebar ke sistem lain. Buat AI agent, batas ini bukan cuma folder temporary atau container yang terlihat terpisah.

Sandbox yang layak diuji minimal membatasi empat hal:

• Network: domain dan port apa yang boleh diakses? Apakah egress internet ditutup secara default?
• Credential: apakah agent melihat token, environment variable, SSH key, atau metadata credential yang tidak dibutuhkan?
• Filesystem: apakah agent hanya bisa membaca workspace yang relevan, atau juga home directory dan secret mount?
• Execution: apakah proses bisa menjalankan binary lain, membuat persistence, atau mengubah konfigurasi host?

Kalau satu saja boundary ini tidak jelas, lu belum punya bukti isolasi. Lu baru punya asumsi.

Kenapa evaluation run juga butuh incident response?

Banyak tim memperlakukan evaluasi sebagai eksperimen yang boleh diulang. Kalau hasilnya jelek, run dibuang dan benchmark dijalankan lagi. Cara pikir ini tidak cukup saat model punya kemampuan tool use dan network access.

Evaluation run tetap membutuhkan telemetry, alert, dan kill switch. Operator harus bisa menjawab: proses apa yang berjalan, file apa yang berubah, endpoint apa yang dihubungi, credential apa yang terbaca, dan kapan akses harus diputus.

Ini paralel dengan prinsip OWASP GenAI Security Project: aplikasi LLM dan agentic AI perlu diperlakukan sebagai sistem dengan risiko keamanan, bukan sekadar chat interface. Risiko seperti prompt injection, excessive agency, dan insecure tool use tidak selesai hanya dengan menambah instruksi di system prompt.

Checklist sebelum lu kasih internet ke AI agent

1. Mulai dari deny by default. Buka akses hanya ke domain yang memang dibutuhkan task.
2. Pakai credential berumur pendek dengan scope sekecil mungkin. Jangan mount token produksi untuk eksperimen.
3. Jalankan agent di akun dan network terpisah dari laptop atau server utama.
4. Catat command, file diff, network request, dan tool call. Chat history bukan audit trail yang cukup.
5. Siapkan kill switch yang bisa mematikan proses dan mencabut credential tanpa menunggu agent selesai.
6. Uji boundary dengan input yang tidak ramah: dokumen asing, issue publik, repository random, dan tool yang gagal.
7. Setelah run selesai, hapus workspace sementara dan rotate credential yang sempat tersedia.

Pelajaran buat builder dan developer

Menurut gua, pelajaran paling pentingnya bukan “jangan pakai AI”. Justru sebaliknya: kalau AI agent mau dipakai untuk pekerjaan yang lebih serius, standar infrastrukturnya harus naik.

Model yang lebih pintar membuat boundary makin penting, bukan makin tidak perlu. Agent yang bisa merencanakan, menjalankan tool, dan memperbaiki hasil sendiri juga punya lebih banyak kesempatan untuk salah langkah. Karena itu, kemampuan agent harus dipasangkan dengan permission yang sempit, observability yang nyata, dan jalur pemulihan yang bisa diuji.

Untuk workflow pribadi, lu tidak perlu langsung membangun platform security enterprise. Mulai dari hal sederhana: jangan kasih agent akses ke seluruh home directory, jangan gunakan API key produksi untuk eksperimen, matikan network kalau task tidak membutuhkannya, dan review diff sebelum perubahan keluar dari sandbox.

Kesimpulan singkat

Sandbox bukan label. Sandbox adalah sekumpulan boundary yang bisa diuji dan dibuktikan.

• AI evaluation tetap bisa berdampak ke sistem nyata.
• Network egress dan credential exposure adalah risiko utama yang perlu dicek.
• Telemetry, kill switch, dan incident response harus ada sebelum agent diberi akses sensitif.
• AI tetap berguna, tapi usefulness tidak menghapus kebutuhan audit dan ownership manusia.

FAQ

Apakah semua AI agent harus offline?

Nggak. Akses internet bisa dibutuhkan untuk riset atau deployment. Prinsipnya, akses itu harus eksplisit, terbatas, tercatat, dan mudah dicabut.

Apakah container sudah cukup sebagai sandbox?

Belum tentu. Container membantu isolasi, tapi konfigurasi network, mount, privilege, credential, kernel, dan host tetap menentukan blast radius.

Apakah system prompt bisa menggantikan permission?

Nggak. Instruksi membantu perilaku, tapi permission dan network policy yang membatasi kemampuan teknis agent.

Referensi / Bacaan Lanjut

• Anthropic — Investigating three real-world incidents in our cybersecurity evaluations
• OpenAI — Hugging Face model evaluation security incident
• OWASP GenAI Security Project — LLM Top 10

Kalau lu pernah menjalankan AI agent dengan akses network atau credential, bagian boundary mana yang paling susah lu kontrol? Share pengalaman lu. Follow rafli.dev buat insight tech yang jujur, relatable, dan anti-bullshit.