Bản đồ
Framework

Thang kiểm chứng năm bậc

Câu hỏi nó trả lời

Trước khi ký, gửi hay đăng một bản nháp do AI soạn, người quản lý nên soát những lớp nào, từ sự kiện đến người chịu trách nhiệm cuối cùng?

Xuất xứ
Ji et al., 2023; Sharma et al., 2024; Kasai et al., 2022; Parasuraman et al., 2000; Bainbridge, 1983
Loại sơ đồ
Quy trình theo giai đoạn
Cấp độ phân tích
Cá nhân
Chủ đề
AI cho người lãnh đạoĐạo đức & quản trị công ty
Quả cầu kính với lõi mạng nơ-ron phát sáng, biểu tượng AI cho lãnh đạo

Sơ đồ

Thang kiểm chứng năm bậc

  1. Năm bậc kiểm chứng
  2. Sự kiệnSố liệu, tên riêng, trích dẫn đều mở được nguồn thật chưa?
  3. Giả địnhCâu trả lời đang dựa vào giả định nào, và có phải giả định của chính bạn được nói lại không?
  4. Độ mới của nguồnThông tin còn đúng ở ngày hôm nay không?
  5. Rủi ro kinh doanhNếu sai thì ai chịu thiệt, bao nhiêu?
  6. Người phê duyệtAi đọc nguồn rồi đứng tên?

Khi nào dùng, khi nào không

Nên dùng khi

Dùng khi một bản nháp, bảng số hay bản tóm tắt do AI soạn sắp rời tay bạn: gửi khách, nộp cấp trên, đăng công khai. Đi từ bậc 1 lên và dừng lại sửa ở bậc nào hỏng.

Không nên dùng khi

Bậc thang này là cách gom của site từ các nguồn trên; không nguồn nào đề ra đúng năm bậc này hay thứ tự này. Với việc rủi ro rất thấp, như ghi chú nháp cho riêng mình, đi hết năm bậc là mất công vô ích.

Cách áp dụng từng bước

  1. Sự kiện: mở nguồn của từng số liệu, tên riêng, trích dẫn. Ảo giác là lỗi đã được khảo sát rộng ((Ji et al., 2023)); trong Mata v. Avianca, hồ sơ nộp toà trích những vụ án không tồn tại ((Mata v. Avianca, Inc., 2023)).
  2. Giả định: viết ra giả định mà câu trả lời đang dựa vào. Các trợ lý AI có xu hướng đổi câu trả lời cho khớp ý người hỏi, kể cả ý nêu nhẹ ((Sharma et al., 2024)), nên giả định bạn tự đưa vào câu hỏi cần được kiểm riêng.
  3. Độ mới của nguồn: xem ngày của từng nguồn. Mô hình có thể trả lời bằng thông tin đã lỗi thời ((Kasai et al., 2022); (Lazaridou et al., 2021)).
  4. Rủi ro kinh doanh: hỏi nếu sai thì ai chịu, chịu bao nhiêu. Chi phí của hệ quả là một tiêu chí để chọn mức giao việc cho máy ((Parasuraman et al., 2000)); hãng bay trong Moffatt v. Air Canada phải chịu trách nhiệm về lời của chatbot ((Civil Resolution Tribunal (British Columbia), 2024)).
  5. Người phê duyệt: một người có tên đọc nguồn rồi ký. Toà trong vụ Mata nêu vai trò “gác cổng” của luật sư với hồ sơ nộp ((Mata v. Avianca, Inc., 2023)). Người chỉ giám sát một hệ thống chạy ổn thì dễ mất cảnh giác và mất kỹ năng ((Bainbridge, 1983)), nên bước này phải là đọc thật, không phải bấm duyệt.

Cạm bẫy

Cạm bẫy

Dừng ở bậc 1. Một số liệu khớp nguồn vẫn có thể sai nếu nguồn đã cũ (bậc 3) hoặc nếu câu hỏi đã gài sẵn một giả định sai (bậc 2).

Nguồn

Tài liệu tham khảo

Xếp A–Z theo họ tác giả, kiểu Harvard. Nguồn có DOI thì link https://doi.org/…; nguồn không có DOI thì link trang nguồn hoặc ghi rõ không có DOI.

  1. Bainbridge, L. (1983) ‘Ironies of automation’, Automatica, 19(6), pp. 775–779.doi:10.1016/0005-1098(83)90046-8Được trích trong 1 bài
  2. Civil Resolution Tribunal (British Columbia) (2024) Moffatt v. Air Canada, 2024 BCCRT 149, file SC-2023-005609, decision issued 14 February 2024.Không có DOIdecisions.civilresolutionbc.caĐược trích trong 3 bài
  3. Ji, Z., Lee, N. and Frieske, R. (2023) ‘Survey of hallucination in natural language generation’, ACM Computing Surveys, 55(12), pp. 1–38.doi:10.1145/3571730Được trích trong 2 bài
  4. Kasai, J. et al. (2022) RealTime QA: what's the answer right now? (arXiv preprint arXiv:2207.13332).doi:10.48550/arXiv.2207.13332Được trích trong 2 bài
  5. Lazaridou, A. et al. (2021) Mind the gap: assessing temporal generalization in neural language models. (NeurIPS 2021; arXiv:2102.01951).doi:10.48550/arXiv.2102.01951Được trích trong 1 bài
  6. Mata v. Avianca, Inc. (2023) 678 F. Supp. 3d 443 (S.D.N.Y. 2023), No. 22-cv-1461, Opinion and Order on Sanctions, 22 June 2023.Không có DOInhd.uscourts.govĐược trích trong 3 bài
  7. Parasuraman, R., Sheridan, T.B. and Wickens, C.D. (2000) ‘A model for types and levels of human interaction with automation’, IEEE Transactions on Systems, Man, and Cybernetics, Part A: Systems and Humans, 30(3), pp. 286–297.doi:10.1109/3468.844354Được trích trong 2 bài
  8. Sharma, M., Tong, M. and Korbak, T. (2024) Towards understanding sycophancy in language models. (ICLR 2024; arXiv:2310.13548).doi:10.48550/arXiv.2310.13548Được trích trong 3 bài