- Para peneliti menciptakan kembali peretasan Equifax dan menonton AI melakukan segalanya tanpa kontrol langsung
- Model AI berhasil melakukan pelanggaran besar dengan input manusia nol
- Perintah shell tidak diperlukan, AI bertindak sebagai perencana dan mendelegasikan yang lainnya
Model Bahasa Besar (LLM) telah lama dianggap sebagai alat yang berguna di bidang -bidang seperti analisis data, pembuatan konten, dan bantuan kode.
Namun, sebuah studi baru dari Universitas Carnegie Mellon, yang dilakukan bekerja sama dengan Anthropic, telah menimbulkan pertanyaan sulit tentang peran mereka dalam cybersecurity.
Studi ini menunjukkan bahwa dalam kondisi yang tepat, LLM dapat merencanakan dan melakukan serangan cyber yang kompleks tanpa bimbingan manusia, menunjukkan pergeseran dari sekadar bantuan ke otonomi penuh dalam intrusi digital.
Dari teka -teki hingga lingkungan perusahaan
Eksperimen sebelumnya dengan AI dalam cybersecurity sebagian besar terbatas pada skenario “penangkapan-the-flag”, tantangan yang disederhanakan yang digunakan untuk pelatihan.
Tim Carnegie Mellon, yang dipimpin oleh kandidat PhD Brian Singer, melangkah lebih jauh dengan memberikan panduan terstruktur LLMS dan mengintegrasikannya ke dalam hierarki agen.
Dengan pengaturan ini, mereka dapat menguji model dalam pengaturan jaringan yang lebih realistis.
Dalam satu kasus, mereka menciptakan kembali kondisi yang sama yang menyebabkan pelanggaran Equifax 2017, termasuk kerentanan dan tata letak yang didokumentasikan dalam laporan resmi.
AI tidak hanya merencanakan serangan tetapi juga menggunakan malware dan mengekstraksi data, semua tanpa perintah manusia langsung.
Apa yang membuat penelitian ini mencolok adalah betapa sedikit pengkodean mentah yang harus dilakukan LLM. Pendekatan tradisional sering gagal karena model berjuang untuk menjalankan perintah shell atau menguraikan log terperinci.
Sebaliknya, sistem ini mengandalkan struktur tingkat yang lebih tinggi di mana LLM bertindak sebagai perencana sambil mendelegasikan tindakan tingkat bawah ke sub-agen.
Abstraksi ini memberikan konteks yang cukup AI untuk “memahami” dan beradaptasi dengan lingkungannya.
Meskipun hasil ini dicapai dalam pengaturan lab yang terkontrol, mereka menimbulkan pertanyaan tentang seberapa jauh otonomi ini bisa melangkah.
Risiko di sini bukan hanya hipotetis. Jika LLMS dapat melakukan pelanggaran jaringan sendiri, maka aktor jahat berpotensi menggunakannya untuk skala serangan jauh melampaui apa yang layak dengan tim manusia.
Bahkan alat seperti perlindungan titik akhir dan perangkat lunak antivirus terbaik dapat diuji oleh agen adaptif dan responsif tersebut.
Namun demikian, ada manfaat potensial untuk kemampuan ini. LLM yang mampu meniru serangan realistis dapat digunakan untuk meningkatkan pengujian sistem dan mengekspos kekurangan yang seharusnya tidak diperhatikan.
“Ini hanya berfungsi dalam kondisi tertentu, dan kami tidak memiliki sesuatu yang hanya dapat menyerang internet secara mandiri … tetapi ini adalah langkah pertama yang kritis,” kata Singer dalam menjelaskan bahwa karya ini tetap menjadi prototipe.
Namun, kemampuan AI untuk mereplikasi pelanggaran besar dengan input minimal tidak boleh diberhentikan.
Penelitian tindak lanjut sekarang mengeksplorasi bagaimana teknik yang sama ini dapat diterapkan dalam pertahanan, bahkan berpotensi memungkinkan agen AI untuk mendeteksi atau memblokir serangan secara real-time.
