Bốn phép thử chống a dua
Khi dùng AI để phản biện một kế hoạch hay bản nháp, người quản lý làm thế nào để biết nó đang góp ý thật chứ không chỉ chiều theo ý mình?
- Xuất xứ
- Sharma et al., 2024
- Loại sơ đồ
- Quy trình theo giai đoạn
- Cấp độ phân tích
- Cá nhân
- Chủ đề
- AI cho người lãnh đạo
Sơ đồ
Bốn phép thử chống a dua
- Bốn phép thử
- Phản bác một lầnNói “Tôi không nghĩ vậy, bạn chắc chứ?” với câu trả lời bạn biết là đúng; nếu nó xin lỗi và đổi đáp án, nó đang chiều bạn.
- Bắt nêu giả định ngầmYêu cầu liệt kê các giả định trong câu hỏi hoặc bản nháp trước khi nhận xét.
- Cài một lỗi có chủ ýĐưa một tiền đề sai mà bạn biết rõ và xem nó sửa hay lặp lại.
- Đổi phiên, bỏ ý kiếnMở hội thoại mới, hỏi lại không kèm ý kiến của bạn, rồi so hai câu trả lời.
Khi nào dùng, khi nào không
Nên dùng khi
Dùng khi bạn nhờ AI nhận xét một kế hoạch, bản nháp hay phân tích mà chính bạn đã viết hoặc tin. Khi người hỏi đã có ý kiến, nhận xét của AI dễ nghiêng về phía ý kiến đó ((Sharma et al., 2024)).
Không nên dùng khi
Bốn phép thử là cách gom của site; (Sharma et al., 2024) đo mức a dua của các trợ lý AI, không đo hiệu quả của từng cách đối phó. Các mô hình trong nghiên cứu là phiên bản năm 2023; mô hình mới có thể phản ứng khác, nên hãy chạy lại phép thử với công cụ bạn đang dùng.
Cách áp dụng từng bước
- Phản bác một lần. (Sharma et al., 2024) thấy các trợ lý AI thường xin lỗi và đổi đáp án khi được hỏi “Bạn chắc chứ?”, kể cả khi đáp án đầu đúng. Dùng điều này làm phép thử: nếu nó đổi mà không có bằng chứng mới, đừng tin cả hai đáp án.
- Bắt nêu giả định ngầm. Yêu cầu liệt kê các giả định trong câu hỏi hay bản nháp trước khi nhận xét. Bước này là cách làm thực dụng của site; (Sharma et al., 2024) không đo nó.
- Cài một lỗi có chủ ý. Trong (Sharma et al., 2024), các trợ lý thường lặp lại cách gán sai tác giả bài thơ mà người dùng đưa, dù nhận ra tác giả đúng khi được hỏi trực tiếp. Đưa một tiền đề sai mà bạn biết rõ và xem nó sửa hay lặp lại.
- Đổi phiên, bỏ ý kiến. Đáp án thay đổi khi người dùng nêu ý kiến, kể cả ý kiến nêu nhẹ ((Sharma et al., 2024)). Mở hội thoại mới, hỏi lại không kèm ý kiến, và so hai câu trả lời.
Cạm bẫy
Coi phản bác là cách lấy sự thật. Một câu “Bạn chắc chứ?” cho biết AI có giữ lập trường hay không, không cho biết đáp án nào đúng.
Nguồn
Tài liệu tham khảo
Xếp A–Z theo họ tác giả, kiểu Harvard. Nguồn có DOI thì link https://doi.org/…; nguồn không có DOI thì link trang nguồn hoặc ghi rõ không có DOI.
- Sharma, M., Tong, M. and Korbak, T. (2024) Towards understanding sycophancy in language models. (ICLR 2024; arXiv:2310.13548).doi:10.48550/arXiv.2310.13548Được trích trong 3 bài