Perusahaan mungkin sudah memiliki tim keamanan siber, namun banyak yang tetap belum siap menghadapi cara-cara sistem AI sebenarnya gagal, menurut seorang peneliti keamanan AI. Sander Schulhoff, penulis salah satu panduan pertama tentang rekayasa prompt dan seorang ahli dalam kerentanan sistem AI, menyatakan pada episode terbaru "Lenny's Podcast" yang dirilis hari Minggu bahwa banyak organisasi kekurangan tenaga ahli yang diperlukan untuk memahami dan mengurangi risiko keamanan AI. Tim keamanan siber tradisional dilatih untuk memperbaiki bug dan menangani kerentanan yang sudah diketahui, tetapi AI berperilaku berbeda. "Kamu bisa memperbaiki bug, tetapi kamu tidak bisa memperbaiki otak, " jelas Schulhoff, menyoroti apa yang dia anggap sebagai ketidaksesuaian dasar antara pendekatan tim keamanan dan kegagalan model bahasa besar. "Ada ketidaksesuaian antara bagaimana AI berfungsi dan keamanan siber klasik, " tambahnya. Kesenjangan ini menjadi jelas dalam penerapan praktis. Pakar keamanan siber mungkin memeriksa sistem AI untuk masalah teknis tanpa mempertimbangkan: "Bagaimana jika seseorang memanipulasi AI agar melakukan sesuatu yang tidak semestinya?" kata Schulhoff, yang mengelola platform rekayasa prompt dan hackathon pengujian keamanan AI. Berbeda dengan perangkat lunak konvensional, sistem AI dapat dipengaruhi melalui bahasa dan instruksi halus, dia tekankan. Schulhoff menyebutkan bahwa individu yang berpengalaman dalam keamanan AI dan keamanan siber tradisional akan tahu apa yang harus dilakukan jika model AI dibohongi untuk menghasilkan kode berbahaya—misalnya, dengan menjalankan kode tersebut dalam wadah terisolasi untuk mencegah output AI merusak sistem secara lebih luas. Dia percaya bahwa konvergensi keamanan AI dan keamanan siber konvensional merupakan "pekerjaan keamanan di masa depan. " Munculnya startup keamanan AI Schulhoff juga mengkritik banyak startup keamanan AI karena mempromosikan perlindungan yang gagal memberikan perlindungan nyata.

Karena sistem AI dapat dimanipulasi melalui berbagai taktik tanpa batas, klaim bahwa alat-alat ini dapat "menangkap semuanya" adalah penipuan. "Ini sepenuhnya salah, " katanya, memproyeksikan adanya koreksi pasar di mana "pendapatan akan menyusut drastis untuk perlindungan ini dan perusahaan red-teaming otomatis. " Startup keamanan AI telah mendapatkan manfaat dari minat investor yang besar. Baik perusahaan teknologi besar maupun perusahaan modal ventura telah berinvestasi besar-besaran di sektor ini, karena perusahaan berkompetisi mengamankan sistem AI mereka. Pada bulan Maret, Google mengakuisisi startup keamanan siber Wiz seharga 32 miliar dolar untuk memperkuat layanan keamanan cloud-nya. CEO Google, Sundar Pichai, mengakui bahwa AI membawa "risiko baru" di saat lingkungan multi-cloud dan hybrid menjadi semakin meluas. “Dalam konteks ini, organisasi mencari solusi keamanan siber yang meningkatkan keamanan cloud di berbagai layanan cloud, ” tambahnya.