Con người trong vòng lặp ở hai cấp
Khi đưa AI vào một quy trình nhiều bước, trưởng nhóm nên đặt người kiểm ở từng lời nhắc hay chỉ ở vài điểm chốt của cả quy trình?
- Xuất xứ
- Parasuraman et al., 2000; Bainbridge, 1983; Anthropic, 2024
- Loại sơ đồ
- Bảng so sánh
- Cấp độ phân tích
- Nhóm
Sơ đồ
Con người trong vòng lặp ở hai cấp
| Tiêu chí | HITL cấp prompt (micro) | HITL cấp workflow (macro) |
|---|---|---|
| Phạm vi | một bước trong chuỗi prompt | cả chuỗi tác vụ nhiều bước |
| Câu hỏi kiểm | đúng đối tượng? lệch tông? dùng được thật? | điểm này sai thì thiệt hại bao nhiêu? |
| Hành động | nhận, sửa, bỏ | duyệt, từ chối, chuyển cấp |
| Cách chọn vị trí | mỗi bước | theo chi phí sai sót của từng bước |
| Bằng chứng lưu | nhật ký chuỗi | tiêu chí duyệt và nhật ký checkpoint |
Khi nào dùng, khi nào không
Nên dùng khi
Dùng khi quy trình có nhiều bước AI nối nhau và bạn phải quyết định chỗ đặt người duyệt. Cấp prompt (micro) kiểm từng đầu ra trong chuỗi; cấp workflow (macro) đặt vài điểm chốt theo hệ quả của sai sót.
Không nên dùng khi
Cách chia micro và macro là nhãn của site; các nguồn không dùng hai thuật ngữ này. (Parasuraman et al., 2000) bàn về mức tự động hoá theo bốn giai đoạn, không bàn về chuỗi prompt; áp sang quy trình dùng AI là suy rộng của site.
Cách áp dụng từng bước
Đặt điểm chốt ở bước mà sai sót gây thiệt hại lớn, theo tiêu chí chi phí của hệ quả trong (Parasuraman et al., 2000). Cho người duyệt thứ họ kiểm được. (Bainbridge, 1983) chỉ ra rằng người chỉ ngồi giám sát hệ thống tự động khó giữ cảnh giác với sự cố hiếm, và không thể kiểm quyết định của máy theo thời gian thực, nên điểm chốt cần tiêu chí nhận hoặc loại cụ thể thay vì “xem lại cho chắc”. (Anthropic, 2024) mô tả agent dừng chờ phản hồi của người ở điểm chốt hoặc khi vướng.
Cạm bẫy
Đặt điểm chốt mà người duyệt chỉ bấm đồng ý. Theo (Bainbridge, 1983), người chỉ giám sát một hệ thống chạy ổn sẽ giảm dần cả kỹ năng lẫn sự chú ý.
Nguồn
Tài liệu tham khảo
Xếp A–Z theo họ tác giả, kiểu Harvard. Nguồn có DOI thì link https://doi.org/…; nguồn không có DOI thì link trang nguồn hoặc ghi rõ không có DOI.
- Anthropic (2024) Building effective AI agents. Anthropic Research.Không có DOIanthropic.comĐược trích trong 6 bài
- Bainbridge, L. (1983) ‘Ironies of automation’, Automatica, 19(6), pp. 775–779.doi:10.1016/0005-1098(83)90046-8Được trích trong 1 bài
- Parasuraman, R., Sheridan, T.B. and Wickens, C.D. (2000) ‘A model for types and levels of human interaction with automation’, IEEE Transactions on Systems, Man, and Cybernetics, Part A: Systems and Humans, 30(3), pp. 286–297.doi:10.1109/3468.844354Được trích trong 2 bài