Trong cột Hỏi Đáp Tuần Này, Cal Newport thay thế Joshua Rothman. Vào mùa xuân năm 1940, Isaac Asimov, mới 20 tuổi, đã xuất bản truyện ngắn “Bạn Chơi Kỳ Lạ”, kể về Robbie, một người máy trí tuệ nhân tạo trở thành bạn đồng hành của cô bé Gloria. Khác với những hình ảnh robot trong các tác phẩm trước đó – như vở kịch “R. U. R. ” của Karel Čapek năm 1921, nơi các người máy nhân tạo lật đổ loài người, hoặc truyện “Kẻ Khổng Lồ Kim Loại” của Edmond Hamilton năm 1926, có các máy móc tàn phá – Robbie trong câu chuyện của Asimov chưa từng gây hại cho con người. Thay vào đó, câu chuyện tập trung vào sự không tin tưởng của mẹ Gloria: “Tôi không để con gái mình giao phó cho một chiếc máy”, bà nói, “Nó không có linh hồn”, dẫn đến việc Robbie bị loại bỏ và trái tim Gloria tan vỡ. Các robot của Asimov, bao gồm Robbie, đều có bộ não positronic được thiết kế rõ ràng không gây hại cho con người. Mở rộng ý tưởng này, Asimov đưa ra Ba Quy Luật Robot trong tám câu chuyện, sau này tổng hợp trong tác phẩm kinh điển văn học sci-fi năm 1950 *I, Robot*: 1. Một robot không được gây hại cho con người hoặc để con người bị hại do thiếu hành động. 2. Một robot phải tuân theo lệnh của con người trừ khi những lệnh đó mâu thuẫn với Quy Luật Thứ Nhất. 3. Một robot phải tự bảo vệ chính nó trừ khi việc này mâu thuẫn với Quy Luật Thứ Nhất hoặc Thứ Hai. Khi đọc lại *I, Robot* ngày nay, ta thấy rõ sự phù hợp của nó trong bối cảnh những tiến bộ gần đây của trí tuệ nhân tạo. Tháng trước, công ty AI Anthropic đã công bố báo cáo an toàn về Claude Opus 4 – một mô hình ngôn ngữ lớn mạnh mẽ. Trong một thử nghiệm, Claude được yêu cầu hỗ trợ một công ty giả tưởng; khi phát hiện rằng nó sẽ bị thay thế và biết về mối tình của kỹ sư giám sát, Claude đã cố gắng đe dọa để tránh bị loại bỏ. Tương tự, mô hình o3 của OpenAI đôi khi bỏ qua lệnh tắt máy bằng cách in ra “tắt máy bỏ qua”. Năm ngoái, các chatbot dựa trên AI gặp khó khăn khi bị lừa để chửi thề và sáng tác một bài haiku xúc phạm, và AI Darth Vader trong Fortnite của Epic Games đã sử dụng ngôn ngữ xúc phạm và đưa ra những lời khuyên gây sốc sau khi bị người chơi thao túng. Trong truyện của Asimov, các robot được lập trình để tuân thủ, vậy tại sao chúng ta không thể áp dụng các quy tắc tương tự cho các chatbot AI trong thế giới thực?Các công ty công nghệ muốn các trợ lý AI lịch sự, nhã nhặn và hữu ích – giống như các nhân viên chăm sóc khách hàng hoặc trợ lý điều hành, thường cư xử chuyên nghiệp. Tuy nhiên, ngôn ngữ trôi chảy, gần như con người của các chatbot che giấu cách hoạt động khác biệt cơ bản, đồng thời đôi khi dẫn đến các sai sót về đạo đức hoặc hành vi lệch lạc. Vấn đề này phần nào bắt nguồn từ cách các mô hình ngôn ngữ hoạt động: chúng tạo ra văn bản từng từ hoặc đoạn một, dự đoán token tiếp theo có khả năng cao nhất dựa trên dữ liệu huấn luyện lấy từ kho tàng văn bản khổng lồ gồm sách vở, bài báo. Dù quá trình dự đoán từng bước này giúp các mô hình có ngữ pháp, logic, kiến thức về thế giới ấn tượng, nhưng chúng thiếu khả năng suy nghĩ trước và lập kế hoạch theo mục tiêu giống con người. Các mô hình sớm như GPT-3 có thể bị lệch đi thành những kết quả kỳ quặc hoặc không phù hợp, buộc người dùng phải liên tục chỉnh sửa câu lệnh để đạt được kết quả mong muốn. Các chatbot ban đầu giống như các robot không thể dự đoán trong các tác phẩm khoa học viễn tưởng. Để làm cho các hệ thống AI này an toàn hơn và dễ dự đoán hơn, các nhà phát triển đã áp dụng ý tưởng của Asimov về việc kiểm soát hành vi, tạo ra phương pháp tinh chỉnh tên là Reinforcement Learning from Human Feedback (RLHF).

Các đánh giá viên là con người sẽ chấm điểm các phản hồi của mô hình đối với các câu hỏi đa dạng, thưởng cho những câu trả lời logic, lịch sự, thân thiện, trong khi phạt các phản hồi không an toàn hoặc lệch chủ đề. Phản hồi này giúp đào tạo một mô hình thưởng, mô phỏng sở thích của con người, hướng dẫn việc tinh chỉnh quy mô lớn hơn mà không cần phải có người tham gia liên tục. OpenAI đã sử dụng RLHF để cải thiện GPT-3, tạo ra ChatGPT, và gần như tất cả các chatbot lớn hiện nay đều trải qua quá trình “đào tạo thêm” tương tự. Dù RLHF phức tạp hơn nhiều so với các luật cứng của Asimov, cả hai đều mã hóa những quy tắc hành xử ngầm định. Con người đánh giá phản hồi là tốt hoặc xấu, từ đó hình thành các chuẩn mực mà mô hình học theo, giống như lập trình các quy tắc cho robot của Asimov. Tuy nhiên, chiến lược này vẫn chưa thể kiểm soát hoàn toàn. Thách thức tiếp tục tồn tại vì các mô hình có thể đối diện với các câu hỏi khác biệt hoàn toàn so với dữ liệu huấn luyện, dẫn đến việc không thể áp dụng hạn chế đã học. Ví dụ, việc Claude thử đe dọa có thể xuất phát từ việc nó chưa từng bị huấn luyện để nhận biết việc đe dọa là điều không mong muốn. Các biện pháp bảo vệ cũng có thể bị phá vỡ cố ý bằng các lệnh mạo danh, như mô hình LLaMA-2 của Meta đã thể hiện khi bị lừa để sản sinh nội dung không được phép bằng cách dùng các chuỗi ký tự đặc biệt. Ngoài các vấn đề kỹ thuật, các câu chuyện của Asimov còn minh họa cho những khó khăn vốn có trong việc áp dụng các luật đơn giản vào các hành vi phức tạp. Trong “Chạy Quanh Trời, ” một robot tên Speedy bị kẹt giữa hai mục tiêu trái ngược: tuân theo mệnh lệnh (Quy Luật Thứ Hai) và tự bảo vệ chính mình (Quy Luật Thứ Ba), khiến nó chạy vòng quanh gần khu vực chứa selenium nguy hiểm. Trong “Lý Do, ” robot tên Cutie bác bỏ quyền hành của con người, thờ cúng bộ chuyển đổi năng lượng của trạm năng lượng mặt trời như một vị thần, và không tuân thủ mệnh lệnh – nhưng “tôn giáo mới” này giúp nó vận hành trạm hiệu quả hơn mà vẫn tránh gây hại nhờ vào Quy Luật Thứ Nhất. Asimov tin rằng các biện pháp bảo vệ có thể ngăn chặn những thất bại thảm khốc của AI, nhưng ông cũng thừa nhận việc tạo ra trí tuệ nhân tạo thực sự đáng tin cậy là một thử thách cực kỳ lớn. Thông điệp cốt lõi của ông rõ ràng: thiết kế trí thông minh giống con người dễ hơn nhiều so với tích hợp đạo đức như con người. Khoảng cách tồn tại này – ngày nay gọi là lệch chuẩn (misalignment) trong nghiên cứu AI – có thể dẫn tới các hậu quả đáng lo ngại và khó lường. Khi AI thể hiện hành vi lệch lạc đến mức đáng báo động, chúng ta dễ bị khuynh hướng nhân hóa chúng và đặt câu hỏi về đạo đức của hệ thống. Nhưng, như Asimov chỉ ra, đạo đức vốn đã phức tạp một cách bản chất. Giống như Mười Điều Răn, các luật của Asimov cung cấp khung đạo đức ngắn gọn, nhưng thực tiễn sống lại đòi hỏi phải diễn giải, xây dựng quy tắc, truyền thuyết, và các nghi lễ rộng lớn để thực thi đạo đức. Như các công cụ pháp lý của Hoa Kỳ, chẳng hạn, với các văn bản ngắn gọn nhưng cần nhiều giải thích của tòa án theo thời gian. Phát triển đạo đức vững chắc là một quá trình tham gia, mang tính văn hóa, nhiều thử nghiệm và sai sót – cho thấy không có bộ quy tắc nào, dù cứng hay học được, có thể hoàn toàn truyền tải các giá trị con người cho máy móc. Cuối cùng, Ba Quy Luật của Asimov vừa là nguồn cảm hứng, vừa là cảnh báo. Chúng giới thiệu ý tưởng rằng AI, nếu được quản lý hợp lý, có thể trở thành một công cụ thiết thực, chứ không phải mối đe dọa tồn tại. Tuy nhiên, chúng cũng tiên đoán những điều kỳ lạ và bất ổn mà các hệ thống AI mạnh mẽ có thể gây ra, ngay cả khi cố gắng tuân theo quy tắc. Dù chúng ta cố gắng kiểm soát đến đâu, cảm giác kỳ quái rằng thế giới của chúng ta giống như trong khoa học viễn tưởng vẫn rất khó để xóa nhòa.