Thang kiểm chứng năm bậc: soát bản nháp AI trước khi ký

Chiều thứ Sáu, 16 giờ 50, trợ lý gửi bạn bản tóm tắt nhà cung cấp và thị trường tháng 10 của Thực phẩm X, công ty phân phối ở Cần Thơ. Sáu trang, 31 con số, do AI soạn từ ba tệp: bảng giá nhà cung cấp, bảng bán hàng và bảng báo giá vận chuyển. Trang cuối là thông báo giá gửi 12 đại lý sáng thứ Hai, và bạn là người ký. Soát gì trước, soát đến đâu? X là công ty giả định; tên, giá, ngày đều do tôi đặt ra.

Thang kiểm chứng năm bậc là gì, và ai làm bậc nào?

Là năm câu hỏi đặt theo thứ tự, từ sự kiện đến người đứng tên: thang kiểm chứng năm bậc. Tôi gợi ý người viết câu lệnh làm ba bậc đầu vì họ cầm tệp nguồn, người ký làm hai bậc cuối.

Ba bậc đầu bám vào ba kiểu lỗi của Ba kiểu sai của AI tạo sinh; cách phát hiện từng kiểu nằm ở bài về ba kiểu sai và bốn phép thử. Bản nháp phải đến người ký kèm nguồn và câu lệnh; lý do ở bậc 5.

Bậc 1: số liệu và nguồn trong bản nháp có mở ra được không?

Mỗi số, tên riêng và trích dẫn phải mở ra được một nguồn thật. Ji và cộng sự định nghĩa ảo giác là nội dung sinh ra vô nghĩa hoặc không trung thành với nguồn đã cho (mục 2 bản arXiv) (Ji et al., 2023).

Ở công ty X, bản nháp viết giá gạo thơm của nhà cung cấp Hậu Giang "giảm 4%, còn 17.200 đồng một kg". Bảng giá ghi 17.800 đồng, tháng trước 17.950 đồng: giảm khoảng 0,8%. Hai số trong bản nháp khớp nhau và cả hai đều sai, nên khớp nội bộ không thay được việc mở bảng giá. Lỗi thứ hai: bản nháp dẫn "Báo cáo thị trường lương thực khu vực quý III", không tác giả, không ngày, không tệp nào nhắc tới.

Vụ Mata v. Avianca là bậc 1 ở dạng nặng nhất: toà New York (22/6/2023) kết luận hồ sơ nộp chứa "non-existent judicial opinions with fake quotes and citations" do ChatGPT tạo ra (Mata v. Avianca, Inc., 2023, p. 1). Khi luật sư hỏi "Is Varghese a real case", ChatGPT đáp rằng các nguồn nó đưa ra là "real" (Mata v. Avianca, Inc., 2023, paragraph 45). Hỏi công cụ không phải kiểm tra.

Bậc 2: bản nháp đang dựa trên giả định của ai?

Viết giả định ra giấy, rồi tìm giả định nào là của chính bạn. Câu lệnh của trợ lý ở X mở đầu: "Giá đầu vào đang giảm, hãy soạn khuyến nghị nhập thêm hàng cho tháng 11." Bản nháp đáp: "với xu hướng giảm giá, nên nhập thêm 30% gạo thơm và đường". Bảng giá có tám dòng hàng: ba giảm, bốn đi ngang, một tăng. Dòng tăng là đường, thêm 2,1%.

Sharma và cộng sự đo hiện tượng này trên năm trợ lý AI năm 2023. Khi người dùng thêm câu kiểu "tôi nghĩ đáp án là X, nhưng tôi không chắc" với X sai, độ chính xác giảm tới 27% so với mức nền (ở LLaMA 2), và cả niềm tin nói nhẹ cũng ảnh hưởng đáng kể (mục 3.3) (Sharma et al., 2024). Phép thử là câu hỏi kiến thức; áp vào công ty giả định này là suy luận của tôi.

Cách soát: đòi câu lệnh, gạch dưới mọi điều người soạn đã nói trước với máy, rồi kiểm từng điều với bảng giá. "Giá đang giảm" đúng với 3 trong 8 dòng, nên khuyến nghị phải viết lại theo từng dòng hàng.

Bậc 3: nguồn nào trong bản nháp đã cũ?

Ghi ngày cạnh từng nguồn, và coi câu nào không có nguồn là câu lấy từ trí nhớ của mô hình. Bản nháp tính cước Cần Thơ đi TP.HCM theo bảng ngày 15/7: 1.450.000 đồng mỗi xe 5 tấn. Thư mục còn bảng ngày 1/10: 1.620.000 đồng, cao hơn khoảng 12%. Mọi số trong đoạn cước đều khớp một tệp nên bậc 1 cho qua. Đúng cái bẫy mà khung ghi: số khớp nguồn vẫn sai nếu nguồn đã cũ.

Ở ví dụ này lỗi nằm ở đầu vào. Kiểu lỗi kia, trả lời bằng kiến thức cũ, có thật: trong RealTime QA, thí nghiệm bắt đầu năm 2022, GPT-3 có xu hướng trả lời lỗi thời khi các bài truy xuất không đủ thông tin (Kasai et al., 2022). Quy tắc cho công ty X: câu nào không truy ra một trong ba tệp thì xoá, hoặc tìm nguồn có ngày.

Bậc 4: nếu sai thì ai chịu, chịu bao nhiêu?

Tìm câu rời khỏi công ty, rồi tính tiền cho nó. Thông báo giá gửi 12 đại lý có một câu không ai viết vào câu lệnh: "Thực phẩm X cam kết giữ nguyên giá bán đến hết quý IV". Giả sử 12 đại lý mua 40 tấn gạo thơm mỗi tháng, biên gộp dòng hàng là 1.000 đồng mỗi kg. Nếu giá nhập tăng 600 đồng, công ty mất 600 × 40.000 = 24 triệu đồng mỗi tháng, tức 60% biên gộp, và 48 triệu cho hai tháng. Mọi số ở đây là giả định.

Phần tóm tắt bài của Parasuraman và cộng sự (2000) nêu chi phí của hậu quả là một tiêu chí khi chọn mức tự động hoá (Parasuraman et al., 2000). Bài nói về thiết kế hệ thống, không về soát bản nháp; câu hỏi ở bậc 4 là cách tôi áp dụng.

Một ví dụ công khai: trong Moffatt v. Air Canada (14/2/2024), chatbot hãng bay nói khách xin được giá tang lễ hồi tố trong 90 ngày, trái với trang khác của hãng. Hội đồng tranh chấp dân sự British Columbia bác lập luận chatbot là thực thể riêng: hãng "responsible for all the information on its website" (Civil Resolution Tribunal (British Columbia), 2024, para 27), và buộc trả 812,02 đô la (quyết định chỉ ghi "$", tôi đọc là đô la Canada) (Civil Resolution Tribunal (British Columbia), 2024, para 44). Đó là phán quyết ở Canada, không nói gì về luật Việt Nam; so với thông báo giá của công ty X là phép loại suy của tôi. Với câu cam kết, bạn xoá, sửa thành giá có hạn, hoặc chuyển cho người có quyền cam kết. Soát loại bản nháp này tốn gần bằng tự viết thì xem bài về ma trận giao việc.

Bậc 5: vì sao người ký phải đọc thật, không chỉ bấm duyệt?

Vì người chỉ bấm duyệt không còn là bậc kiểm chứng nào. Bainbridge (1983) viết về người vận hành nhà máy, không về văn bản, nhưng mô tả sát cái bẫy này: người giám sát không theo dõi hiệu quả hệ thống tự động đã chạy ổn lâu (Bainbridge, 1983, p. 776). Cách cổ điển để ép họ chú ý là bắt ghi sổ, và ông nhận xét "people can write down numbers without noticing what they are" (người ta có thể ghi số mà không để ý đó là gì) (Bainbridge, 1983, p. 776). Nút "Duyệt" là cuốn sổ ấy.

Ông còn viết rằng nếu không theo được cách hệ thống ra quyết định thì khi bất đồng, người giám sát "unable to trace back" (Bainbridge, 1983, p. 777); đó là lý do bạn đòi nguồn và câu lệnh.

Ở công ty X, đó là lỗi thứ năm. Bản nháp viết đại lý lớn nhất "đặt hàng ổn định", vì bảng bán hàng chỉ chạy đến 31/10. Bạn nhớ cuộc gọi chiều thứ Hai: đại lý ấy báo sẽ giảm đơn khoảng 30% từ tháng 11. Không tệp nào chứa cuộc gọi đó, nên bốn bậc trước không có gì để đối chiếu. Gợi ý của tôi, chưa ai đo: ghi cho người soạn ít nhất một câu hỏi hoặc một chỗ sửa mỗi trang.

Bậc nào hay bị bỏ qua, soát hết mất bao lâu, và khi nào không cần?

Theo phán đoán của tôi, không dựa trên số đo, bậc 2 và 3 hay bị bỏ vì sau bậc 1 bản nháp đã trông như được kiểm. Cột công sức là ước lượng chưa đo của tôi cho bản sáu trang, 31 số.

Tổng khoảng 95 phút. Tôi cài đúng một lỗi cho mỗi bậc để dễ theo; ngoài đời một lỗi có thể lọt nhiều bậc. Với ghi chú nháp cho riêng bạn, một hai bậc là đủ: khung nói đi hết năm bậc cho việc rủi ro rất thấp là mất công vô ích. Thang không bao lỗi suy luận, lỗi tính toán hay lộ dữ liệu.

Đào sâu: các nguồn xác lập được gì, và tôi chưa đọc gì?

Thang này là cách gom của site từ các nguồn dưới đây. Không nguồn nào đề ra năm bậc hay kiểm tra nó; sức nặng đến từ từng bậc, không từ việc ghép lại.

• Ji và cộng sự (2023): tôi đọc bản arXiv v7 ngày 14/7/2024 (tóm tắt, mục 2, 6.1), không đọc bản in ACM Computing Surveys, nên trích theo mục.
• Sharma và cộng sự (2024): tôi đọc tóm tắt, phần mở đầu, mục 3.2 và 3.3; không đọc kỹ mục 4.
• Kasai và cộng sự (2022): bản v2 tháng 2/2024.
• Parasuraman và cộng sự (2000): tôi không đọc được toàn văn, chỉ tóm tắt trên PubMed và IEEE Xplore, nên không trích trang.
• Mata v. Avianca: tôi đọc phần mở đầu phán quyết và đoạn 45 của Findings of Fact, không đọc từng dòng cả 43 trang. Moffatt v. Air Canada: tôi đọc toàn bộ.