Peneliti keamanan telah menemukan bahwa kecenderungan AI untuk berhalusinasi nama paket ketika digunakan untuk membantu dengan menulis kode telah menyebabkan kerentanan rantai pasokan perangkat lunak baru, dijuluki “slopquatting.”
Istilah ini, yang diperkenalkan oleh pakar keamanan Seth Larson, mengacu pada variasi pengetik. Sementara pengkhianat tergantung pada sedikit kesalahan ejaan paket yang sah, slopsquatting mengeksploitasi perpustakaan yang sepenuhnya dibuat -buat yang sering dihasilkan oleh model AI dalam output mereka.
Menurut sebuah penelitian yang dilakukan pada Maret 2025, 576.000 sampel kode dari platform seperti ChatGPT-4, Codellama, Deepseek, WizardCoder, dan Mistral diperiksa. Para peneliti menemukan bahwa sekitar 20% dari paket yang diusulkan oleh sistem AI ini tidak ada. Bahkan di antara model komersial seperti ChatGPT-4, halusinasi muncul di sekitar 5% dari kode yang dihasilkan.
Para peneliti mendokumentasikan lebih dari 200.000 nama paket berhalusinasi yang berbeda. Khususnya, 58% dari ini muncul dalam beberapa contoh, menunjukkan bahwa mereka tidak hanya kesalahan yang terisolasi tetapi konsisten dan dapat diprediksi. Aktor ancaman dapat menggunakan ini untuk keuntungan mereka, mengunggah paket berbahaya di bawah nama-nama yang dibaluhkan AI ini untuk repositori seperti PYPI atau NPM.
Penelitian ini juga mengungkapkan bahwa 38% dari paket fabrikasi memiliki kemiripan dengan yang asli, 13% disebabkan oleh kesalahan tipografi, dan 51% sepenuhnya ditemukan.
Para ahli menyarankan pengembang untuk memverifikasi secara manual setiap paket yang disarankan oleh AI Tools. Memanfaatkan pemindai ketergantungan, lockfile, dan verifikasi berbasis hash juga dapat membantu mencegah pemasangan paket berbahaya yang tidak disengaja. Juga, mengurangi pengaturan “suhu” AI dapat membantu mengurangi halusinasi.
Secara umum, pengembang harus menganggap semua kode yang dihasilkan AI tidak dipercaya sampai ditinjau dan diuji dalam pengaturan yang aman dan terisolasi. Ketika industri semakin mengadopsi AI untuk meningkatkan produktivitas, penting untuk mengenali risikonya – terutama dalam rantai pasokan perangkat lunak.