Netflix: dữ liệu hay trực giác? Đọc hai nghiên cứu gốc

Theo một tài liệu van Es dẫn, năm 2015 Ted Sarandos, khi đó là đồng CEO kiêm giám đốc nội dung của Netflix, được cho là đã nói quyết định ở công ty gồm 70% dữ liệu và 30% phán đoán của con người. Ba năm sau, trong một phỏng vấn, tỷ lệ đảo lại: 70% trực giác, 30% dữ liệu (van Es, 2023, pp. 656–657). Nếu bạn đang cân nhắc "làm theo Netflix", câu nào đúng? Bài này đọc hai tài liệu gốc (van Es, 2023; Gomez-Uribe và Hunt, 2015); xem thêm ca Netflix về dữ liệu và phán đoán. Cách chạy vòng ra quyết định bốn bước nằm ở bài Vòng ra quyết định dựa trên dữ liệu cho doanh nghiệp nhỏ; bài này chỉ hỏi dữ liệu trả lời được câu nào.

Hai tỷ lệ 70/30 đảo ngược nói lên điều gì?

Theo van Es, cả hai đều khớp với Netflix, vì công ty giữ sự lưỡng lự về việc mình là ai; bà gọi đó là "strategic ambivalence" (van Es, 2023, p. 657). Bà phân tích blog kỹ thuật, trang Netflix Research, LinkedIn và phát biểu với báo chí (van Es, 2023, p. 657).

Đến khoảng 2017, các bài viết dựng hình ảnh công ty công nghệ chạy bằng dữ liệu (van Es, 2023, p. 661); từ 2018, Netflix nhắc nhiều hơn đến chuyên môn và sáng tạo của con người (van Es, 2023, p. 663). Năm 2020, CEO Reed Hastings chỉ ra công ty có nhiều nhân viên ở Hollywood hơn ở Silicon Valley, hai phần ba chi tiêu dành cho nội dung, và gợi ý đó không phải công ty công nghệ hay truyền thông mà là công ty giải trí (van Es, 2023, p. 660). Van Es gắn sự đổi giọng này với phản ứng chống dữ liệu và thuật toán, và với việc Netflix làm chương trình gốc (van Es, 2023, p. 656).

Hai con số 70/30 chỉ là lời thuật lại qua hai bài báo tôi chưa đọc, và van Es tự gắn chữ "supposedly" (được cho là) với một trong hai.

Hệ gợi ý của Netflix thực sự làm gì?

Nó là một tập thuật toán, mỗi cái phục vụ một việc, không phải một thuật toán (Gomez-Uribe và Hunt, 2015, pp. 1–2). Một trang chủ thường có khoảng 40 hàng, mỗi hàng tới 75 phim; năm 2015, Netflix có hơn 65 triệu thành viên xem hơn 100 triệu giờ mỗi ngày (Gomez-Uribe và Hunt, 2015, pp. 1–2).

Con số "80% giờ xem đến từ gợi ý" đo cái gì?

Đo phần giờ xem mà hệ gợi ý có mặt trên đường đi của người xem, không đo phần giờ xem sẽ không xảy ra nếu thiếu nó. Câu gốc: hệ gợi ý "in total influences choice for about 80% of hours streamed at Netflix. The remaining 20% comes from search" (Gomez-Uribe và Hunt, 2015, p. 5).

Van Es dẫn số này với năm 2016, và viết "80 percent of what people watch on Netflix originate in recommendations" ở trang 656, "80 percent of consumption" ở trang 661 (van Es, 2023, pp. 656, 661).

Bài gốc còn cho biết riêng trang chủ là nơi 2 trong 3 giờ xem được khám phá (Gomez-Uribe và Hunt, 2015, p. 2), và thừa nhận phần lớn mô hình thống kê của công ty không tính vòng phản hồi: video được xem nhiều thì được gợi ý cho nhiều người, rồi lại được xem nhiều hơn (Gomez-Uribe và Hunt, 2015, p. 14). Theo cách đọc của tôi, hai điều đó khiến 80% khó đọc như tác động nhân quả.

Giá trị mà chính Netflix nêu là chỗ khác: họ nói nhiều năm làm cá nhân hoá và gợi ý đã giảm tỷ lệ huỷ thuê bao "vài điểm phần trăm", và, trong câu mở đầu bằng "we think", tác động gộp tiết kiệm "hơn 1 tỷ USD mỗi năm" (Gomez-Uribe và Hunt, 2015, p. 7).

Dữ liệu thắng ở đâu, con người quyết định ở đâu?

Dữ liệu thắng ở một câu hẹp: hai danh sách phim tương tự "House of Cards", danh sách nào tốt hơn trong A/B test? Người ta tưởng danh sách có vẻ liên quan hơn (gồm cả bản gốc của phim) sẽ tốt hơn, nhưng A/B test cho thấy danh sách nghiêng về độ phổ biến mới tốt hơn (Gomez-Uribe và Hunt, 2015, p. 8). Các tác giả viết rằng trực giác của chính mình, kể cả trực giác tập thể, thường chọn sai biến thể thuật toán (Gomez-Uribe và Hunt, 2015, p. 7).

Nhưng con người vẫn quyết định ba việc:

• Thước đo. Doanh thu chỉ đến từ phí thuê bao, nên họ cho rằng tối đa hoá doanh thu gần như tương đương tối đa hoá giá trị thành viên nhận được; đó là giả định họ tự nêu (Gomez-Uribe và Hunt, 2015, p. 8). Họ đo giữ chân, nhưng vì khó dịch chuyển nó dù 0,1 điểm nên đo thêm mức xem trung hạn, và tự nhận đếm giờ xem "gives far too much credit to multiseason shows" (Gomez-Uribe và Hunt, 2015, pp. 9, 14).
• Cách hiểu kết quả. Diễn giải A/B test "remains partly art": khi một test thắng về giữ chân mà mức xem không tăng theo, họ coi là dao động ngẫu nhiên và chạy lại, và thường thấy kết quả không lặp (Gomez-Uribe và Hunt, 2015, p. 11).
• Cỡ mẫu. Đo chênh lệch giữ chân 0,1 điểm khi mức giữ chân là 50% cần khoảng 2 triệu thành viên mỗi ô (Gomez-Uribe và Hunt, 2015, p. 10). Tôi kiểm bằng công thức nhị thức chuẩn: sai số chuẩn của chênh lệch là √(2p(1−p)/n) ≈ 0,05 điểm, nên 0,1 điểm là hai sai số. Với 1.000 khách mỗi nhóm, mức giữ chân 50%, ngưỡng thành khoảng 4,4 điểm. Con số 1.000 khách là phép tính của tôi; bài gốc không có số này.

Van Es nói khung "dữ liệu hay trực giác" che mất điều gì?

Che việc cả hai cực đều được dựng bằng lời, và che phần hệ thống nằm giữa. Bà mô tả, theo một cuốn sách bà dẫn, "tư duy Moneyball" với bốn ý: dữ liệu không mang định kiến của con người, dữ liệu hơn kiến thức trực giác, hai thứ thường căng với nhau, và dùng khéo thì cho lợi thế chiến lược (van Es, 2023, p. 658). Theo bà, Netflix nuôi huyền thoại đó để tự quảng bá (van Es, 2023, p. 658).

Phát biểu về sau của Netflix khác hẳn. Một bài năm 2022 nói quyết định lớn do những "Informed Captains" đưa ra sau khi xem dữ liệu và nghe đồng nghiệp; một tài liệu năm 2018 nói học máy để hỗ trợ chứ không để tự động hoá quyết định (van Es, 2023, p. 661).

Bà không coi đó là lời giải. Trong lời Netflix, dữ liệu là "chính xác" và "khách quan", con người là "cảm xúc" và "chuyên môn" (van Es, 2023, p. 665); con người thường đứng ngoài hệ kỹ thuật, chỉ thêm "một chút chạm" (van Es, 2023, pp. 664, 668). Bà viết rằng Netflix cũng là sản phẩm của thực hành con người, và cần bàn công khai khi nào, bằng cách nào và vì sao dùng dữ liệu (van Es, 2023, p. 668).

Ví dụ từ The Wall Street Journal mà bà dẫn: thử ảnh bìa "Grace and Frankie" cho thấy ảnh không có Jane Fonda hiệu quả hơn, nhưng đội nội dung ở Hollywood lo quan hệ và hợp đồng; theo bài báo, số đo bị gạt sang bên để làm hài lòng người nổi tiếng, không phải vì ngờ thuật toán (van Es, 2023, p. 667). Theo cách đọc của tôi, đó là phán đoán về một mục tiêu khác với mục tiêu mà con số đo.

Người ra quyết định nên làm gì khác sau khi đọc hai bài?

Bốn điều sau là suy luận của tôi từ hai bài, không phải kết luận của các tác giả.

1. Trước khi nói "dữ liệu cho thấy", ghi ra câu hỏi mà dữ liệu trả lời. "Danh sách tương tự nào tốt hơn theo thước đo ta chọn" có dữ liệu trả lời; "có giữ quan hệ với một diễn viên không" thì không.
2. Trước khi tin một phần trăm, hỏi đơn vị, mẫu số và động từ. Số 80% đổi nghĩa khi "ảnh hưởng đến lựa chọn" thành "bắt nguồn từ".
3. Chọn thước đo là quyết định của con người. Ghi lại vì sao chọn và nó sai ở đâu, như Netflix tự ghi về giờ xem.
4. Doanh nghiệp nhỏ không bắt chước được A/B test cỡ Netflix: với vài nghìn khách chỉ thấy được khác biệt từ vài điểm phần trăm; chênh nhỏ hơn thì nói thẳng là phán đoán. Xem thêm 5 câu hỏi trước khi tin một biểu đồ.

Giới hạn của hai tài liệu này là gì?

Gomez-Uribe và Hunt là nhân sự Netflix viết về hệ thống của họ, số liệu năm 2015, nhiều nhận định mở đầu bằng "we think" hay "in our opinion" (Gomez-Uribe và Hunt, 2015, pp. 7, 14); tôi không có nguồn độc lập để kiểm.

Không bài nào chứng minh "Netflix làm phim bằng dữ liệu". Gomez-Uribe và Hunt chỉ dùng "House of Cards" làm ví dụ về gợi ý, một danh sách phim tương tự (Gomez-Uribe và Hunt, 2015, p. 8) và một ca ngôn ngữ phụ đề (Gomez-Uribe và Hunt, 2015, p. 14); "generated by algorithm" là lời Sarandos trong phỏng vấn, van Es thuật lại (van Es, 2023, p. 659).

Đào sâu: tôi đã đọc gì, chưa đọc gì?

Van Es (2023): tôi đọc toàn văn bản nhà xuất bản trên kho của Đại học Utrecht. Số trang là số trang in (656 đến 672). Tôi chưa đọc các nguồn bà dẫn: Wu (2015), phỏng vấn Sarandos trên Vulture (2018), blog kỹ thuật của Netflix, The Atlantic (2014), The Wall Street Journal (2018); mọi điều về chúng là điều van Es thuật lại.

Gomez-Uribe và Hunt: tôi đọc bản PDF của ACM qua bản lưu của Internet Archive. Phần chuyển văn bản cắt bớt vài đoạn, gồm một phần mục 5.6, kết luận và phụ lục B; tôi không dựa vào các đoạn đó. Số trang là số trang của bài (1 đến 19). Dòng tham khảo trong PDF ghi "December 2015", còn van Es dẫn là 2016; tôi theo thư viện, dùng 2015.