Thuật toán tuyển dụng thiên vị theo bốn lớp: bỏ cột giới tính chưa đủ

Theo Reuters, Amazon xây công cụ chấm hồ sơ xin việc từ năm 2014, thấy nó đánh giá lệch về giới, và sau đó bỏ nó (Dastin, 2018). Nếu có người chào bán phần mềm lọc CV cho bạn, bạn nên hỏi gì? Bài này đọc ca công cụ chấm hồ sơ của Amazon qua bốn lớp thiên kiến thuật toán và các thước đo công bằng thuật toán, rồi đưa câu hỏi theo từng lớp.

Reuters kể gì về công cụ của Amazon, và không kể gì?

Reuters, dựa trên năm người quen việc này, kể rằng mô hình học từ hồ sơ nộp trong 10 năm, phần lớn của nam giới, nên tự học ra rằng ứng viên nam đáng chọn hơn. Công cụ trừ điểm hồ sơ có chữ "women's" và hạ điểm sinh viên tốt nghiệp của hai trường nữ sinh (Dastin, 2018).

Nhóm tạo 500 mô hình, mỗi mô hình học khoảng 50.000 từ khoá trên hồ sơ cũ; động từ như "executed" và "captured", thường gặp trong hồ sơ kỹ sư nam, được ưu tiên. Amazon sửa chương trình để trung lập với những từ đó, nhưng người trong cuộc nói không có gì bảo đảm máy không tìm ra cách xếp loại khác cũng phân biệt. Nhóm bị giải tán chậm nhất vào đầu năm trước, tức đầu năm 2017 (Dastin, 2018).

Bài không nêu độ chính xác của công cụ và dùng nguồn giấu tên. Theo họ, dữ liệu lỗi còn khiến công cụ gợi ý gần như ngẫu nhiên, và Amazon đóng dự án. Amazon nói nhà tuyển dụng chưa bao giờ dùng công cụ để đánh giá ứng viên, nhưng không phủ nhận họ xem gợi ý.

Bốn lớp thiên vị là gì, và Amazon vướng ở lớp nào?

Bốn lớp là dữ liệu lệch, biến đại diện, bất công cấu trúc cùng vòng phản hồi, và xung đột giữa các quan niệm công bằng. Theo bài Reuters, Amazon chạm rõ nhất hai lớp đầu.

Theo cách đọc của tôi, Amazon chạm lớp 1 (mười năm hồ sơ chủ yếu của nam giới) và lớp 2 (chữ "women's", tên trường, động từ). Reuters gọi dữ liệu lệch nam là phản ánh sự thống trị của nam giới trong ngành công nghệ, tức lớp 3, nhưng không nói về vòng phản hồi.

Bỏ cột giới tính ra khỏi dữ liệu có đủ không?

Không, vì các cột khác dựng lại được thông tin đó. Dwork và cộng sự gọi việc phớt lờ thuộc tính được bảo vệ là "fairness through blindness", và nêu mã hoá dư thừa như đòn đánh thành công vào cách làm này: xoá trường giới tính và "quan tâm đến nam/nữ" khỏi hồ sơ gần như chắc chắn không giấu được xu hướng tính dục, vì nhóm của một người có thể nằm lẫn trong nhiều tháng hoạt động trực tuyến (Dwork et al., 2012). Dattner và cộng sự viết rằng "like" trên Facebook suy ra được xu hướng tính dục và chủng tộc với độ chính xác đáng kể (Dattner et al., 2019).

Ví dụ giả định, mọi con số do tôi dựng. Công ty nhận 1.000 hồ sơ, 500 nữ và 500 nam; 200 hồ sơ nữ và 50 hồ sơ nam ghi khoảng trống sự nghiệp từ sáu tháng. Công cụ không có cột giới tính, nhưng học từ nhà tuyển dụng cũ vốn ít chọn hồ sơ có khoảng trống, nên loại chúng.

Xoá cột "khoảng trống" thì công cụ tìm biến đại diện kế tiếp. Reuters nêu đúng điều này khi kể Amazon sửa từng từ (Dastin, 2018).

Dữ liệu đại diện hơn có sửa được bất công cấu trúc không?

Chỉ một phần: nó chữa nhóm quá ít hay quá nhiều trong dữ liệu, không chữa loại dữ liệu đã thu. Dattner và cộng sự ghi rằng nhà phát triển cân bằng dữ liệu huấn luyện để mọi nhóm được đại diện, và công cụ càng có nhiều thông tin càng kiểm soát được thiên vị (Dattner et al., 2019). Zimmermann và cộng sự nói về biện pháp bù sai lệch kiểu đó rằng nó xử lý thiếu hay thừa đại diện, nhưng không sửa được việc dữ liệu thu về là loại nào ngay từ đầu (Zimmermann et al., 2020).

Họ lấy dự báo tội phạm làm ví dụ: dữ liệu phản ánh cả việc khu nào bị tuần tra nhiều, thuật toán lặp lại quá khứ, dự đoán thành dữ liệu mới và bất công bị siết sâu hơn (Zimmermann et al., 2020). Đó là vòng phản hồi. Bản tuyển dụng, theo suy luận của tôi: công cụ chọn ít phụ nữ, công ty nhận ít phụ nữ, và lần huấn luyện sau coi đó là bằng chứng.

Hai nhóm có tỷ lệ cơ sở khác nhau thì "công bằng" còn nghĩa gì?

Nó thành nhiều nghĩa không cùng đúng được. Binns liệt kê tương đương nhân khẩu học, cơ hội bình đẳng, sai lệch khi đối xử, phản thực tế và các thước đo độ chính xác theo nhóm, rồi viết rằng có thước đo không thể cùng thoả mãn, trừ các trường hợp hiếm và gượng ép (Binns, 2018).

Định lý 1 của Kleinberg và cộng sự có điều kiện cụ thể: hai nhóm; mỗi người có một vector đặc điểm; công cụ xếp người vào các dải và gán mỗi dải một điểm xem như xác suất thuộc lớp dương (ở đây: người thật sự phù hợp). Ba điều kiện (Kleinberg et al., 2017, p. 43:5):

• (A) Hiệu chuẩn trong từng nhóm: người được điểm x thì khoảng x phần trong họ thuộc lớp dương.
• (B) Cân bằng lớp âm: điểm trung bình của người thuộc lớp âm bằng nhau ở hai nhóm.
• (C) Cân bằng lớp dương: điểm trung bình của người thuộc lớp dương bằng nhau ở hai nhóm.

Nếu có phép gán điểm thoả cả ba, thì hoặc dự đoán hoàn hảo (mọi xác suất bằng 0 hoặc 1), hoặc hai nhóm có tỷ lệ cơ sở bằng nhau (Kleinberg et al., 2017, p. 43:6). Bản gần đúng cũng đúng (Kleinberg et al., 2017, p. 43:6). Tác giả coi các điều kiện cân bằng là tổng quát hoá của việc hai nhóm có tỷ lệ âm tính giả và dương tính giả bằng nhau (Kleinberg et al., 2017, p. 43:3).

Ví dụ giả định, số do tôi dựng. Mỗi nhóm 1.000 ứng viên; dải cao có 80% người thật sự phù hợp, dải thấp 10%, ở cả hai nhóm, tức hiệu chuẩn đúng. Tỷ lệ cơ sở là 45% ở nhóm 1 và 24% ở nhóm 2.

Hai dòng cuối là hai đại lượng cân bằng của bài báo. Muốn nhóm 2 cũng bắt được 89% người phù hợp, tôi phải chọn thêm khoảng 533 người từ dải thấp: danh sách lên 733 người, 68% người không phù hợp lọt vào, và chỉ khoảng 29% người trong danh sách là phù hợp.

Theo cách đọc của tôi, bảng của thư viện gắn cùng một dòng "bất khả thi" cho ba thước đo, trong khi định lý chỉ nói về ba điều kiện trên.

Nên hỏi nhà cung cấp gì ở mỗi lớp?

Bảng là công cụ của tôi, không phải chuẩn của nguồn nào.

Dattner và cộng sự (bài đăng tháng 4/2019) cho rằng nhiều công cụ đánh giá ứng viên mới ra đời từ công nghệ chứ không từ phương pháp có kiểm chứng, nên chưa chắc kiểm soát được tác động phân biệt, và ở Mỹ nhà tuyển dụng có thể chịu trách nhiệm nếu dựa mù quáng vào chúng (Dattner et al., 2019). Reuters dẫn các nhà phê bình rằng ứng viên có thể không biết công cụ được dùng, nên khó kiện (Dastin, 2018). Về ai chịu trách nhiệm khi hệ thống tự động nói sai, xem Khi chatbot của hãng hàng không tư vấn sai.

Khi nào cách này không hợp, và bài dừng ở đâu?

Hợp nếu bạn nhận đủ hồ sơ để chạy thử trên dữ liệu của mình, có người đọc mẫu hồ sơ bị loại, và nhà cung cấp trả lời được bốn hàng của bảng. Không hợp nếu họ từ chối nói công cụ đọc gì. Amazon là một công ty, qua nguồn giấu tên, đăng năm 2018; tôi không biết công cụ hiện nay làm gì.

Đào sâu: tôi đã đọc gì, chưa đọc gì?

Tôi đọc toàn văn Reuters (Dastin, đăng 10/10/2018, qua bản lưu của Internet Archive), Binns (2018) và Zimmermann và cộng sự (2020). Với Kleinberg và cộng sự (2017) tôi đọc phần mở đầu, phát biểu Định lý 1 và 2, phần đầu chứng minh và phần kết. Với Dwork và cộng sự (2012) tôi đọc bản arXiv 1104.3913, không phải bản in ACM: phần mở đầu, mục 3.1 và phụ lục.

Dattner và cộng sự (2019) nằm sau tường trả phí của HBR; tôi chỉ đọc phần văn bản bài viết có trong mã nguồn trang công khai, khoảng 2.050 từ. Tôi chưa đọc nghiên cứu về hiệu quả của từng công cụ lọc CV thương mại, luật tuyển dụng hay bảo vệ dữ liệu của Việt Nam.