5 câu hỏi trước khi tin một biểu đồ, thử trên một báo cáo thật

Trang 8 của báo cáo Women in the Workplace 2024 có một biểu đồ cột mà ai cũng nhớ được một số: 81. Cứ 100 nam được thăng lên quản lý thì có 81 nữ. Bạn là trưởng nhân sự, sáng mai họp về chính sách thăng chức, và con số ấy sắp lên slide. Trước khi dùng nó, nên hỏi gì? Bài này đưa năm câu hỏi, rồi thử từng câu trên chính biểu đồ đó. Báo cáo do McKinsey & Company và LeanIn.Org soạn (McKinsey & Company and LeanIn.Org, 2024); xem thêm ca về báo cáo này. Tôi không đánh giá kết luận của báo cáo, chỉ hỏi biểu đồ có đỡ được kết luận hay không.

Năm câu hỏi nào, và chúng đến từ đâu?

Chúng đến từ khung phê bình và vẽ lại biểu đồ và danh mục kiểm tra những chỗ con số nói dối trong thư viện, tôi gộp lại thành năm câu dễ nhớ.

Cairo nói trong một cuộc phỏng vấn về cuốn sách của ông rằng biểu đồ không phải hình minh hoạ mà là một lập luận, và một biểu đồ chỉ cho thấy đúng điều nó cho thấy (Cairo, 2019).

Câu 1: biểu đồ đo cái gì, cho khoảng thời gian nào?

Đây là câu hỏi "rủi ro về cái gì" và "trong bao lâu" của Gigerenzer và cộng sự (Gigerenzer et al., 2007, p. 58). Với cột "81": biểu đồ ghi là tỷ số các lượt thăng chức lên quản lý của nữ và nam, giai đoạn 2018 đến 2024, giả định số người mỗi nhóm bằng nhau (McKinsey & Company and LeanIn.Org, 2024, p. 8). Phần phương pháp định nghĩa tỷ lệ thăng chức là số lượt thăng chức của một giới vào một cấp, chia cho số người cùng giới ở cấp dưới vào đầu năm (McKinsey & Company and LeanIn.Org, 2024, p. 58). Vậy, theo cách đọc của tôi, 81 không phải 81 người mà là một tỷ số: tỷ lệ thăng chức của nữ bằng 81% của nam.

Về thời gian, chú thích ghi dữ liệu pipeline của mỗi báo cáo lấy từ năm trước đó, và nhãn "2024" nghĩa là năm xuất bản báo cáo (McKinsey & Company and LeanIn.Org, 2024, p. 62). Chú thích còn nói: trong báo cáo 2023 một số dữ liệu "nấc thang gãy" cũ từng được gắn nhãn theo năm dữ liệu mô tả, không theo năm xuất bản (McKinsey & Company and LeanIn.Org, 2024, p. 62).

Câu 2: ai nằm trong dữ liệu, ai không?

Jansen và cộng sự xếp chọn mẫu lệch vào những sai sót khi thu thập dữ liệu về con người (Jansen et al., 2022). Với biểu đồ này, phần phương pháp cho biết:

• Báo cáo dựa trên 281 công ty ở Mỹ và Canada; công ty tham gia khi được McKinsey và LeanIn.Org mời hoặc tự bày tỏ quan tâm qua trang web (McKinsey & Company and LeanIn.Org, 2024, p. 57). Phần phương pháp cũng nói không phải công ty tham gia nào cũng nộp dữ liệu pipeline nhân sự (McKinsey & Company and LeanIn.Org, 2024, p. 60).
• Kết quả của từng công ty được lấy trung bình theo ngành, rồi gộp theo tỷ trọng ngành của Fortune 500 năm 2023 (McKinsey & Company and LeanIn.Org, 2024, p. 58). Trang 58 nêu mục đích là để "ước lượng tốt hơn xu hướng theo thời gian dựa trên mẫu công ty của mỗi năm" (McKinsey & Company and LeanIn.Org, 2024, p. 58).
• Ở phần dữ liệu khảo sát, báo cáo thừa nhận rằng công ty tham gia mỗi năm khác nhau nên so sánh giữa các năm có thể do đặc điểm mẫu hoặc biến động ngẫu nhiên (McKinsey & Company and LeanIn.Org, 2024, p. 60).

Hệ quả, theo cách đọc của tôi: 81 là một trung bình có trọng số của các công ty tự nguyện tham gia, nên không nói được có bao nhiêu công ty gần mức 81, bao nhiêu công ty xa hơn nhiều. Jansen và cộng sự cũng liệt kê "sai lầm của trung bình" trong các lỗi khi phân tích (Jansen et al., 2022).

Biểu đồ vòng tròn phía trên cùng trang cũng cần câu này. Ba vòng ghi 59% số bằng cử nhân, 51% dân số và 48% nhân viên cấp đầu vào (McKinsey & Company and LeanIn.Org, 2024, p. 8). Chú thích 9 dẫn thống kê của Bộ Giáo dục và Cục Điều tra dân số Mỹ cho biểu đồ này (McKinsey & Company and LeanIn.Org, 2024, p. 62). Chú thích không nói tới con số cấp đầu vào; tôi suy ra nó lấy từ dữ liệu pipeline của các công ty tham gia ở Mỹ và Canada (McKinsey & Company and LeanIn.Org, 2024, p. 57). Vậy ba vòng đo ba thứ khác nhau, nhưng được vẽ thành một dãy.

Câu 3: hình vẽ có khớp với con số không?

Tufte gọi mức lệch giữa hình và số là hệ số nói dối: tỷ số giữa mức thay đổi hiện trên hình và mức thay đổi trong dữ liệu (Tufte, 2001). Ví dụ giả định, do tôi dựng: điểm hài lòng khách của chi nhánh A là 92 và chi nhánh B là 95, vẽ bằng cột với trục bắt đầu từ 90. Cột A cao 2 đơn vị, cột B cao 5: cột B trông cao hơn 150%, trong khi dữ liệu chỉ tăng khoảng 3,3%. Hệ số nói dối khoảng 46.

Biểu đồ cột ở trang 8 qua được phép thử này. Tôi đo chiều cao cột bằng pixel trên ảnh trang PDF, lấy cột nam là 100. Cột có nhãn của mỗi nhóm (cột cuối, năm 2024) lệch không quá khoảng một điểm so với số in: 81, 89, 99, 54, 65 cho tất cả nữ giới, nữ da trắng, nữ châu Á, nữ da đen, Latinas. Cột 54 của phụ nữ da đen cao khoảng nửa cột nam. Hai điểm khác đáng chú ý: chỉ nhóm tất cả nữ giới có nhãn năm, các nhóm còn lại người đọc phải tự giả định cùng thứ tự; và biểu đồ không có trục tung, người đọc dựa vào số in.

Biểu đồ vòng tròn thì khó so hơn. Qua phép kiểm thô trên ảnh trang, góc mỗi vòng gần đúng tỷ lệ phần trăm của nó, nhưng bán kính các vòng khác nhau nên độ dài cung không so trực tiếp được. Nên đọc theo nhãn số.

Câu 4: con số lớn đến đâu, và chắc đến đâu?

Gigerenzer và cộng sự khuyên nêu cỡ rủi ro bằng số tuyệt đối, hoặc so với một rủi ro quen thuộc hơn (Gigerenzer et al., 2007, p. 58). Trang 8 chỉ in tỷ số, không in tỷ lệ thăng chức gốc. Đây là phép thử giả định, không phải số của báo cáo: nếu mỗi năm 10 trong 100 người nam đủ điều kiện được thăng chức, tỷ số 81 nghĩa là 8,1 trong 100 người nữ, chênh 1,9 người. Nếu mức nam là 2 trong 100, nữ là 1,6, chênh 0,4 người. Cùng một số 81, hai tình huống rất khác nhau. Bài về bội số rủi ro đi sâu vào lỗi này.

Về độ chắc: trang 8 không ghi số công ty hay số lượt thăng chức đứng sau mỗi cột, cũng không có khoảng sai số. Cột của phụ nữ da đen dao động nhiều giữa các năm; theo cách đọc chiều cao cột của tôi, từ khoảng 54 đến khoảng 96 (McKinsey & Company and LeanIn.Org, 2024, p. 8). Chính trang này nói sau "những cải thiện đáng kể năm 2021 và 2022", tỷ lệ của phụ nữ da đen năm nay "quay về mức năm 2020" (McKinsey & Company and LeanIn.Org, 2024, p. 8). Riêng biểu đồ không cho biết dao động như vậy có vượt mức do mẫu mỗi năm một khác hay không. Với tất cả nữ giới, trang viết khoảng cách "không cải thiện": 79 năm 2018, 81 năm 2024 (McKinsey & Company and LeanIn.Org, 2024, p. 8). Theo tôi, chênh hai điểm giữa các mẫu từng năm quá nhỏ để chỉ từ biểu đồ mà gọi là xu hướng.

Câu 5: nó chứng minh được điều người ta muốn rút ra, và áp dụng được cho tôi không?

Trang 8 nói rằng do nấc thang gãy, nam nhiều hơn hẳn nữ ở cấp quản lý, và điều đó khiến các công ty gần như không thể duy trì tiến bộ ở cấp cao hơn (McKinsey & Company and LeanIn.Org, 2024, p. 8). Biểu đồ không kiểm khẳng định ấy; nó chỉ cho thấy tỷ số thăng chức. Cairo khuyên đừng đọc quá điều biểu đồ cho thấy, vì người đọc hay chiếu niềm tin của mình vào biểu đồ (Cairo, 2019).

Câu "có áp dụng cho tôi không" của Gigerenzer và cộng sự hỏi thông tin có dựa trên người giống bạn không (Gigerenzer et al., 2007, p. 58). Báo cáo dựa trên 281 công ty ở Mỹ và Canada, mà trang "About the study" nói có hơn 10 triệu nhân viên cộng lại (McKinsey & Company and LeanIn.Org, 2024, p. 2). Một công ty 60 người ở Cần Thơ cần tỷ lệ thăng chức của chính mình, theo từng nhóm, có kèm số người.

Khi gặp một biểu đồ như vậy, hỏi tác giả gì, và vẽ lại ra sao?

Hỏi ba thứ: hai tỷ lệ đứng sau tỷ số, số người hoặc số công ty trong mỗi cột, và khoảng sai số nếu có. Nếu không có, vẽ lại bằng số trên 100 người, như chấm tròn mỗi chấm một người, hoặc chấm có khoảng sai số thay cho cột.

Đào sâu: tôi đã đọc gì, chưa đọc gì?

Tôi đọc các trang liên quan của bản PDF báo cáo Women in the Workplace 2024 (68 trang): trang 2, 5, 8 và phần phương pháp, chú thích ở các trang 57 đến 62; tôi không đọc kỹ toàn bộ. Số trang trong bài là số trang in. Tôi không có dữ liệu gốc nên không kiểm được các tỷ lệ. Gigerenzer và cộng sự (2007): tôi đọc phần bộ câu hỏi về rủi ro ở trang 58 và các phần về rủi ro tương đối, không đọc từng trang.

Jansen và cộng sự (2022) tôi chỉ đọc phần tóm tắt, vì chưa lấy được toàn văn. Tufte (2001): tôi không có cuốn sách, mà đọc một trích dẫn nguyên tắc và định nghĩa hệ số nói dối trên trang tư liệu của Đại học York, trang này lấy hình từ bản in năm 1983. Với Cairo (2019), tôi đọc cuộc phỏng vấn ông trả lời về cuốn sách (https://brown.columbia.edu/cairo-qa/), không đọc cuốn sách.

Giới hạn lớn nhất: bài phê bình cách trình bày, không phê bình nghiên cứu phía sau. Đánh giá kết luận của báo cáo cần đọc dữ liệu và nghiên cứu độc lập, việc tôi chưa làm.