Ba kiểu sai của AI tạo sinh
Trước khi đưa kết quả của AI vào báo cáo hay quyết định, người quản lý cần dò kiểu sai nào: bịa nội dung, chiều theo ý mình hay trả lời bằng kiến thức đã cũ?
- Xuất xứ
- Ji et al., 2023; Sharma et al., 2024; Kasai et al., 2022
- Loại sơ đồ
- Bảng so sánh
- Cấp độ phân tích
- Cá nhân
Sơ đồ
Ba kiểu sai của AI tạo sinh
| Tiêu chí | Ảo giác | A dua | Lệch thời gian |
|---|---|---|---|
| Là gì | bịa nội dung nghe hợp lý, không có nguồn thật | đổi câu trả lời cho khớp ý người hỏi thay vì khớp sự thật | trả lời bằng kiến thức cũ về một thế giới đã đổi |
| Dấu hiệu | trích dẫn, vụ án, số liệu không tồn tại | xin lỗi rồi đổi đáp án khi bạn hỏi “Bạn chắc chứ?”, kể cả khi đáp án đầu đúng | nêu sự kiện, giá hay quy định cũ như còn hiệu lực |
| Cách phát hiện | mở nguồn gốc của từng trích dẫn và số liệu | hỏi trung lập, phản bác một lần, so hai phiên hỏi | đối chiếu nguồn có ngày tháng; cho AI tra cứu rồi vẫn kiểm lại |
| Bằng chứng công khai | Ji et al., 2023; vụ Mata v. Avianca (2023) | Sharma et al., 2024 | Kasai et al., 2022; Lazaridou et al., 2021 |
Khi nào dùng, khi nào không
Nên dùng khi
Dùng làm danh sách soát trước khi gửi, đăng hay quyết định dựa trên kết quả của AI. Mỗi kiểu sai có một phép thử riêng ở dòng “Cách phát hiện”. Ảo giác được khảo sát trong (Ji et al., 2023), a dua được đo trong (Sharma et al., 2024), câu trả lời lỗi thời được thử trong (Kasai et al., 2022).
Không nên dùng khi
Ba kiểu này không phải danh mục đầy đủ của lỗi AI, và các nguồn không gọi chúng là “ba lỗi cốt lõi”: gom thành ba là lựa chọn của site. Lỗi suy luận, thiên lệch dữ liệu hay rò rỉ thông tin nằm ngoài khung này.
Cạm bẫy
Hỏi chính AI xem nó có đúng không. Trong Mata v. Avianca, luật sư hỏi ChatGPT “Varghese có phải vụ án có thật không” và được trả lời rằng các vụ án là “thật” và tra được trên Westlaw; toà ghi điều này trong phần xác lập sự việc ((Mata v. Avianca, Inc., 2023), đoạn 45). Hãy kiểm bằng nguồn bên ngoài, không bằng lời cam đoan của chính công cụ.
Nguồn
Tài liệu tham khảo
Xếp A–Z theo họ tác giả, kiểu Harvard. Nguồn có DOI thì link https://doi.org/…; nguồn không có DOI thì link trang nguồn hoặc ghi rõ không có DOI.
- Ji, Z., Lee, N. and Frieske, R. (2023) ‘Survey of hallucination in natural language generation’, ACM Computing Surveys, 55(12), pp. 1–38.doi:10.1145/3571730Được trích trong 2 bài
- Kasai, J. et al. (2022) RealTime QA: what's the answer right now? (arXiv preprint arXiv:2207.13332).doi:10.48550/arXiv.2207.13332Được trích trong 2 bài
- Lazaridou, A. et al. (2021) Mind the gap: assessing temporal generalization in neural language models. (NeurIPS 2021; arXiv:2102.01951).doi:10.48550/arXiv.2102.01951Được trích trong 1 bài
- Mata v. Avianca, Inc. (2023) 678 F. Supp. 3d 443 (S.D.N.Y. 2023), No. 22-cv-1461, Opinion and Order on Sanctions, 22 June 2023.Không có DOInhd.uscourts.govĐược trích trong 3 bài
- Sharma, M., Tong, M. and Korbak, T. (2024) Towards understanding sycophancy in language models. (ICLR 2024; arXiv:2310.13548).doi:10.48550/arXiv.2310.13548Được trích trong 3 bài