Đo hiệu quả AI: Cần so sánh với điều gì?

Hãy hình dung sau khi thử nghiệm AI tạo sinh, trong cuộc họp người dùng báo cáo “thời gian làm tài liệu đã nhanh hơn”. Dù họ yêu cầu thêm hạn mức sử dụng, phía lãnh đạo vẫn chưa đủ dữ liệu để quyết định. Thời gian rút ngắn là cho cùng một tài liệu hoàn chỉnh, hay vì số vụ việc đơn giản tăng lên? Có thể gọi chênh lệch so với những người không dùng AI là hiệu quả triển khai không?

Bài viết cho rằng khi đo hiệu quả AI tạo sinh, cần quyết định “so sánh cái gì với cái gì” trước các chỉ số sẽ tổng hợp. Hãy giữ nhất quán người, công việc và điều kiện hoàn thành cần so sánh, đồng thời nêu rõ những khác biệt còn lại. Chỉ sau đó, con số mới có thể dùng để quyết định mở rộng sử dụng.

Đừng biến tỷ lệ tiết kiệm được công bố thành mục tiêu của công ty

Đã có dữ liệu từ vận hành thực tế. CyberAgent cho biết nền tảng sáng tạo AI tạo sinh “AI SCREAM” được dùng cho hoạt động của công ty và hỗ trợ sáng tạo cho khách hàng, giúp giảm khoảng 30% thời gian so với phương pháp truyền thống. Đây là số liệu do nhà cung cấp công bố, không phải kết quả được bên thứ ba độc lập xác minh. [1]

Mặt khác, khảo sát của Viện Nghiên cứu Tổng hợp Persol báo cáo thời gian được tiết kiệm nhờ AI tạo sinh được tái đầu tư vào công việc. Phương pháp khảo sát là khảo sát định lượng qua Internet. Cần phân biệt tình hình sử dụng dựa trên câu trả lời với kết quả thực nghiệm đo thời gian trong cùng điều kiện. [2]

Tại công ty mình cũng nên xem “người dùng cảm thấy tiện lợi”, “thời gian cho một việc giảm” và “sản lượng xử lý của cả bộ phận tăng” là ba câu hỏi riêng. Mức độ hài lòng giúp hiểu lý do tiếp tục sử dụng; thời gian ghi nhận giúp cải thiện công đoạn; sản lượng giúp đánh giá kết quả tổng thể. Không nên cố dùng một con số để giải thích cả ba.

Trước tiên hãy cố định phạm vi công việc, không phải danh sách người

Kế hoạch đo lường cần ghi nghiệp vụ mục tiêu, điểm bắt đầu, điều kiện hoàn thành và thời gian so sánh. “Soạn tài liệu” quá rộng. Ví dụ, “tạo nội dung giải thích có các mục đã định từ tài liệu nội bộ được chỉ định, cho đến khi người phụ trách hoàn tất rà soát” sẽ giúp xác định được phạm vi đầu vào và sản phẩm bàn giao.

Tiếp theo, phân loại công việc thông thường theo độ khó hoặc loại, rồi đăng ký trước các vụ việc được đưa vào đo lường. Không chọn sau những vụ AI có vẻ xử lý dễ. Nếu cần loại trừ, hãy ghi lý do và số lượng, chẳng hạn có thông tin mật hoặc môi trường sử dụng đã được duyệt không cho phép xử lý. Tránh lấy cùng một tỷ lệ tiết kiệm nhân cho công việc ngoài phạm vi.

Cảnh báo này cũng xuất hiện trong quá trình tiến hành nghiên cứu. METR báo cáo rằng trong nghiên cứu lặp lại với nhà phát triển, có người không tham gia vì không muốn làm việc trong điều kiện không có AI, và có người không nộp một số công việc để thử nghiệm. Tổ chức này cho biết có sai lệch trong việc chọn người tham gia và công việc, nên khó diễn giải ước tính thu được thành chỉ số hiệu quả năng suất thực tế. [3]

Không cần áp dụng mức hiệu quả của nghiên cứu đó vào công việc thông thường tại doanh nghiệp Nhật Bản. Điều đáng tham khảo là cách xem xét cả người và công việc không hiện lên trong bảng tổng hợp. Nếu thử nghiệm chỉ có người tự nguyện, kết luận cũng chỉ nên giới hạn ở nhóm tham gia và công việc mục tiêu. Nếu muốn quyết định triển khai toàn công ty, cần kế hoạch có cả nhân viên với mức độ thành thạo khác nhau.

Chọn cách so sánh theo câu hỏi muốn trả lời

Giới hạn mà tự khai báo và so sánh trước-sau có thể cho biết

Khảo sát phù hợp để hỏi về cảm giác nặng nhọc hoặc khó sử dụng. Tuy nhiên, câu trả lời kiểu “nếu không dùng AI thì mất bao lâu” cần được lưu là ước tính và không cộng chung với thời gian đo thực tế. Khi quy đổi hiệu quả triển khai thành tiền, không nên chỉ dựa vào câu trả lời khảo sát.

Khi so sánh trước và sau triển khai, hãy ghi số lượng vụ việc, độ khó, người phụ trách, mức độ bận theo mùa và thay đổi quy trình cùng thời điểm. Ví dụ, nếu triển khai AI ngay sau khi chuẩn hóa biểu mẫu tài liệu, không thể giải thích toàn bộ thời gian rút ngắn là kết quả của AI. Hãy chọn trước là đánh giá việc chuẩn hóa và AI như một biện pháp tổng hợp hay tách thời điểm thực hiện.

Nếu so sánh đồng thời, hãy ghi cách phân bổ và trường hợp rời phép đo

Khi có thể thu thập các vụ việc cùng loại, bài viết khuyến nghị so sánh trong cùng một giai đoạn giữa trường hợp có thể dùng AI và trường hợp dùng cách truyền thống. Xác định trước các vụ việc mục tiêu và phân bổ sao cho độ khó hoặc kinh nghiệm của người phụ trách không dồn về một phía. Nếu có thể, chia ngẫu nhiên; kể cả trường hợp giữa chừng chuyển sang dùng AI cũng cần lưu cùng với phân bổ ban đầu.

Nếu cùng một người làm lại cùng một nghiệp vụ hai lần, họ có thể dùng kiến thức vừa học ở lần đầu cho lần sau. Ngoài ra, nếu nhân viên bên cạnh có thể nhận bản nháp AI tạo thì điều kiện truyền thống cũng bị ảnh hưởng. Hãy chọn điều kiện so sánh có thể duy trì tại hiện trường, chẳng hạn dùng các vụ việc tương đương khác nhau hoặc chia nhóm theo đơn vị chia sẻ. Nếu việc chia nhóm khiến năng lực người phụ trách khác nhau, hãy nêu giới hạn đó trong báo cáo.

Chỉ tổng hợp các vụ đã hoàn thành cũng là cách làm nên tránh. Hãy đếm riêng vụ chưa hoàn tất, dừng giữa chừng và thiếu ghi nhận. Ghi rõ vụ nào dùng để so sánh thời gian, vụ nào dùng để xác định đã hoàn thành hay chưa; kiểm tra xem vụ khó có bị loại khỏi một điều kiện hay không.

Tách thời gian rút ngắn ở công việc cũ khỏi công việc mới được tạo ra

METR thảo luận tác động năng suất qua ba nhóm: thời gian tiết kiệm ở công việc vốn đã làm trước khi triển khai, thời gian tiết kiệm ở công việc chọn làm sau khi triển khai, và giá trị tăng thêm nhờ tái cấu trúc công việc. Vì cấu trúc công việc thay đổi, ba cách đo này không nhất thiết cho cùng một kết quả. [4]

Trong thực tế, có thể chia báo cáo thành hai phần. Phần thứ nhất so sánh thời gian và chất lượng của cùng công việc với cùng điều kiện hoàn thành như trước. Phần thứ hai theo dõi công việc mới bắt đầu thực hiện vì có thể dùng AI, xem AI được dùng vào đâu và hỗ trợ quyết định nào.

Ví dụ, nếu tạo nhiều tài liệu giải thích vốn trước đây không làm, đừng cộng toàn bộ thời gian giả định con người sẽ cần để làm chúng vào “thời gian tiết kiệm”. Nếu tài liệu bổ sung có giá trị, hãy đánh giá gắn với đề xuất được áp dụng hoặc quyết định mà tài liệu hỗ trợ. Phân biệt này giúp tránh đồng nhất số lượng tài liệu với giá trị.

Trong ghi nhận thời gian, tách thời gian người phụ trách trực tiếp làm việc khỏi thời gian trôi qua từ lúc nhận yêu cầu đến lúc hoàn thành. Điểm kết thúc đo lường phải là khi đáp ứng điều kiện hoàn thành đã định, chứ không phải lúc tạo xong bản nháp. Nếu quy đổi thời gian tiết kiệm của nhân viên thành tiền, cần ghi rõ đó là chi phí đã giảm hay năng lực còn dư để chuyển sang việc khác.

Đừng ràng buộc hiện trường quá mức để phục vụ so sánh

Cách tiếp cận này không phù hợp khi nghiệp vụ chỉ xảy ra một lần, không có công việc có thể so sánh và điều kiện hoàn thành thay đổi trong quá trình thực hiện. Thay vì giả vờ có phép so sánh nghiêm ngặt, hãy ghi lại quá trình quyết định, sản phẩm và thời gian đã dùng để xác định điều gì cần kiểm tra ở lần thử sau.

Ngoài ra, nếu điều kiện không dùng AI xung đột với thời hạn hoặc yêu cầu an toàn, không nên đặt thử nghiệm so sánh lên trước. Cần cân nhắc tiếp tục quan sát trong phạm vi giới hạn và hoãn khẳng định hiệu quả. Quyết định chi phí đo lường và gánh nặng ghi chép theo mức đầu tư muốn đánh giá.

Theo cách làm Forward Deployed Engineering (FDE), đồng hành cùng khách hàng từ lập kế hoạch và thử nghiệm đến triển khai rồi ổn định, nên thống nhất điều kiện so sánh ngay khi bắt đầu thử nghiệm. Nhóm phát triển xác định nhật ký sử dụng, phía nghiệp vụ xác định các vụ việc mục tiêu và điều kiện hoàn thành, còn lãnh đạo xác định khác biệt cần có để ra quyết định mở rộng.

Gợi ý cho thực tiễn

Đề xuất 1: Trước khi đầu tư thêm, hãy tóm tắt kế hoạch so sánh trên một trang. Quyết định trước người tham gia, cách chọn vụ việc, điều kiện hoàn thành, thời gian đo, lý do loại trừ và mức cải thiện cần thiết.

Đề xuất 2: Đếm cả các vụ đã dùng lẫn không thể dùng AI. Báo cáo cả việc chưa hoàn tất và đổi điều kiện giữa chừng để giới hạn rõ phạm vi có thể áp dụng kết quả.

Đề xuất 3: Báo cáo riêng việc rút ngắn công việc hiện hữu và kết quả mới tạo ra. Tách kết quả so sánh cùng một công việc khỏi giá trị nhờ tái cấu trúc công việc, rồi giải thích căn cứ để mở rộng phạm vi sử dụng.

Tài liệu tham khảo

1. CyberAgent “Bắt đầu cung cấp nền tảng sáng tạo của AI Creative BPO, ‘AI SCREAM’, cho doanh nghiệp” (công bố 2026-07-31, ngày kiểm tra: 2026-09-22)
2. Viện Nghiên cứu Tổng hợp Persol “Khảo sát thực trạng AI tạo sinh và cách thức làm việc”, thông cáo báo chí (công bố 2026-02-03, ngày kiểm tra: 2026-09-22)
3. METR, We are Changing our Developer Productivity Experiment Design (công bố 2026-02-24, ngày kiểm tra: 2026-09-22)
4. METR, Task Substitution and Uplift (công bố 2026-05-08, ngày kiểm tra: 2026-09-22)

Bài viết này được thực hiện với sự hỗ trợ của AI và đã được rà soát tự động trước khi xuất bản. Ngày kiểm tra thông tin: 2026-09-22.