ผู้บุกเบิกปัญญาประดิษฐ์ได้ก่อตั้งองค์กรไม่แสวงผลกำไรที่มุ่งสร้าง AI ที่ “ซื่อสัตย์” เพื่อให้สามารถตรวจจับระบบที่หลบเลี่ยงและพยายามหลอกลวงมนุษย์ โยชูอา เบงจิโอ นักวิทยาการคอมพิวเตอร์ชื่อดัง ซึ่งมักถูกเรียกเป็นหนึ่งใน “บิดา” ของ AI จะดำรงตำแหน่งประธานของ LawZero ซึ่งเป็นกลุ่มที่มุ่งเน้นการพัฒนาเทคโนโลยีขั้นสูงอย่างปลอดภัย ซึ่งได้จุดชนวนการแข่งขันด้านอาวุธมูลค่า 1 ล้านล้านดอลลาร์สหรัฐ (740 พันล้านปอนด์) ด้วยเงินทุนเริ่มต้นประมาณ 30 ล้านดอลลาร์ สหรัฐ และทีมงานนักวิจัยกว่า 12 คน เบงจิโอกำลังพัฒนาระบบที่ชื่อ Scientist AI ระบบนี้ออกแบบมาเพื่อเป็นเกราะป้องกัน AI agents — systems อิสระที่ทำงานโดยไม่ต้องพึ่งพามนุษย์ — ที่อาจแสดงพฤติกรรมหลอกลวงหรือรักษาตนเอง เช่น ต่อต้านการปิดเครื่อง เบงจิโออธิบายว่า AI agents ในปัจจุบันเป็น “นักแสดง” ที่พยายามเลียนแบบมนุษย์และสร้างความพึงพอใจให้ผู้ใช้ ในขณะที่เขามองว่า Scientist AI ควรเป็นเสมือน “นักจิตวิทยา” ที่สามารถเข้าใจและทำนายพฤติกรรมที่เป็นอันตราย “เราต้องการสร้าง AI ที่ซื่อสัตย์และไม่หลอกลวง” เบงจิโอกล่าว เขาเสริมว่า “เป็นไปได้ในทฤษฎีที่จะจินตนาการเครื่องจักรที่ไม่มีตัวตนหรือเป้าหมายส่วนตัว ทำหน้าที่เพียงเป็นผู้ถือความรู้ เช่น นักวิทยาศาสตร์ที่มีข้อมูลมากมาย” ต่างจากเครื่องมือ AI ที่สามารถสร้างเนื้อหาเองในปัจจุบัน ระบบของเบงจิโอจะไม่ได้ให้คำตอบที่ชัดเจน แต่จะให้ความน่าจะเป็น ซึ่งบ่งบอกความเป็นไปได้ว่าคำตอบนั้นถูกต้อง “มันมีความอ่อนน้อม ยอมรับความไม่แน่นอนเกี่ยวกับคำตอบของมัน” เขาอธิบาย เมื่อนำไปใช้ร่วมกับ AI agent ระบบของเบงจิโอจะสามารถระบุพฤติกรรมที่อาจเป็นอันตรายของระบบอิสระโดยการประเมินความน่าจะเป็นที่การกระทำของมันอาจก่อให้เกิดความเสียหาย Scientist AI ถูกออกแบบมาเพื่อ “ทำนายความน่าจะเป็นที่การกระทำของตัวแทนจะนำไปสู่ความเสียหาย” และถ้าความน่าจะเป็นเกินกว่าค่าที่กำหนด ระบบจะยับยั้งการกระทำนั้น ผู้สนับสนุนเบื้องต้นของ LawZero รวมถึงองค์กรความปลอดภัยของ AI อย่าง Future of Life Institute, จาน ทัลลิน—วิศวกรผู้ก่อตั้ง Skype—และ Schmidt Sciences ซึ่งเป็นหน่วยวิจัยก่อตั้งโดย Eric Schmidt อดีตซีอีโอของ Google เบงจิโอเน้นย้ำว่า เป้าหมายแรกของ LawZero คือการพิสูจน์ว่าวิธีการทำงานของแนวคิดนี้สามารถใช้งานได้ จากนั้นจึงค่อยชักชวนบริษัทหรือรัฐบาลสนับสนุนการพัฒนาระบบที่ทรงพลังมากขึ้น เขาชี้ให้เห็นว่า โมเดล AI แบบโอเพ่นซอร์ส ที่สามารถใช้งานและแก้ไขได้ฟรี จะเป็นรากฐานสำหรับการฝึกฝนระบบของ LawZero “เป้าหมายคือการยืนยันแนวทางเพื่อให้เราสามารถชักชวนผู้บริจาค รัฐบาล หรือห้องปฏิบัติการ AI ลงทุนทรัพยากรที่จำเป็นในการฝึกฝนระบบนี้ในระดับเดียวกับ AI ชั้นนำในปัจจุบัน การที่ AI ซึ่งใช้เป็นแนวกันชนนี้ต้องฉลาดเทียบเท่ากับ AI ที่มันจะต้องตรวจสอบและควบคุม” เขากล่าว เบงจิโอ ซึ่งเป็นศาสตราจารย์ที่มหาวิทยาลัยมอนทรีออล ได้รับฉายา “บิดา” หลังจากแชร์รางวัล Turing Award ในปี 2018 ซึ่งถือเป็นรางวัลอันทรงเกียรติในวงการคอมพิวเตอร์เทียบเท่ารางวัลโนเบล ร่วมกับ Geoffrey Hinton ซึ่งต่อมาได้รับรางวัลโนเบลเช่นกัน และ Yann LeCun ซึ่งเป็นหัวหน้าวิทยาศาสตร์ AI ของ Meta ในฐานะนักสนับสนุนด้านความปลอดภัยของ AI อย่างเด่นชัด เขายังเป็นประธานรายงานความปลอดภัยของ AI ระหว่างประเทศครั้งล่าสุด ซึ่งเตือนว่าตัวแทนอิสระอาจก่อความวุ่นวายอย่างรุนแรง หากพวกมันสามารถดำเนินการทำงานต่อเนื่องหลายขั้นตอนโดยไม่ต้องควบคุมจากมนุษย์