Thiết kế hàng đợi ngoại lệ cho AI: Con người rà soát thôi chưa đủ

![image]()

Sáng thứ Hai, người phụ trách mở màn hình và thấy 180 hồ sơ do AI xử lý qua đêm đang nằm trong danh sách “cần xem xét”. Hồ sơ quan trọng và hồ sơ chỉ khác đôi chút về định dạng đầu vào đều được xếp cùng một thứ tự. Dù đã tự động hóa, khi hạn chót đến gần, việc kiểm tra ngày càng qua loa và cuối cùng mọi thứ được phê duyệt hàng loạt. Khi đó, việc con người kiểm tra không còn là biện pháp an toàn mà chỉ là nhãn che giấu hàng đợi xử lý.

Điều thực sự cần thiết kế trong vận hành AI không phải lựa chọn nhị phân “có để con người tham gia hay không”. Câu hỏi là: chuyển hồ sơ nào, kèm căn cứ gì, cho ai và trước thời hạn nào. Bài viết này gọi cơ chế xử lý hồ sơ được chuyển lại cho con người là “hàng đợi ngoại lệ”. Kết luận trước: hàng đợi ngoại lệ không phải một tính năng trên màn hình, mà cần được thiết kế như một quy trình nghiệp vụ kết hợp thứ tự ưu tiên, thông tin để phán đoán, quyền hạn và thời hạn.

Biến việc “con người xem xét” thành cơ chế kiểm soát

Phiên bản 2.0 của hướng dẫn về mua sắm và sử dụng AI tạo sinh của Cơ quan Kỹ thuật số Nhật Bản lấy việc cán bộ có đánh giá được tính phù hợp của đầu ra hay không làm một tiêu chí đánh giá rủi ro, đồng thời nêu ví dụ trả lời tự động không có kiểm tra là trường hợp rủi ro cao. Hướng dẫn cũng yêu cầu đánh giá rủi ro tổng thể, xét cả bối cảnh sử dụng cụ thể như khả năng dễ dàng tham chiếu nguồn. [1] Nói cách khác, chỉ định người kiểm tra thôi chưa đủ; cần xem các điều kiện để việc kiểm tra thực sự phát huy tác dụng.

Hướng dẫn dành cho doanh nghiệp AI của Bộ Kinh tế, Thương mại và Công nghiệp cùng Bộ Nội vụ và Truyền thông được cập nhật lên phiên bản 1.2 vào tháng 3 năm 2026, và nêu cách tiếp cận dựa trên rủi ro, điều chỉnh mức độ biện pháp theo quy mô tác hại và khả năng xảy ra. [2] Điều này cũng áp dụng trực tiếp cho công việc rà soát. Nếu đọc mọi hồ sơ có tác động nhỏ với cùng độ sâu, thời gian dành cho các hồ sơ nghiêm trọng sẽ giảm.

Có ba lựa chọn thực tế. Kiểm tra tất cả dễ giải thích, nhưng khi số lượng tăng sẽ dễ biến thành phê duyệt cho có. Phân luồng chỉ dựa trên ngưỡng độ tin cậy thì dễ triển khai, nhưng không bắt được những hồ sơ có tổn thất lớn dù xác suất xảy ra thấp. Cách dễ vận hành nhất là phân loại tác động nghiệp vụ trước, rồi dùng độ tin cậy của mô hình và kết quả xác minh trong từng nhóm.

Bắt đầu phân luồng từ tác động nghiệp vụ, không phải “độ chắc chắn”

Điều kiện chuyển vào hàng đợi ngoại lệ nên được chia ít nhất thành bốn nhóm sau.

1. Mức độ nghiêm trọng của kết quả

Nếu lỗi tác động trực tiếp đến thông báo cho khách hàng, thanh toán, hợp đồng hoặc thay đổi quyền hạn, không nên tự động xác nhận hồ sơ đó, ngay cả khi mô hình trả về độ tin cậy cao. Ngược lại, nếu chỉ là diễn đạt lại bản nháp nội bộ và có thể chỉnh sửa trước khi gửi, có thể bắt đầu bằng việc kiểm tra mẫu. Độ tin cậy là thang đo nội bộ của mô hình, không phải con số thể hiện số tiền tổn thất hay ảnh hưởng đến khách hàng.

2. Khả năng làm lại

Các quy trình có thể hủy hoặc gửi lại và xác định được phạm vi ảnh hưởng có dư địa để tự động hóa. Thông tin khó thu hồi sau khi công bố, thông báo dù đã hủy vẫn có thể ảnh hưởng đến quyết định của người nhận, hoặc chỉ thị dẫn đến thao tác vật lý nên được chuyển cho người trước. Điều cần xem ở đây không chỉ là “xác suất thất bại” mà còn là “có thể khôi phục sau khi thất bại hay không”.

3. Thời hạn và chi phí tồn đọng

Ngay cả khi cùng mức độ quan trọng, cần tách hàng đợi giữa phát hiện gian lận cần quyết định trong 10 phút và báo cáo chỉ cần kiểm tra trước ngày làm việc tiếp theo. Khi quá hạn, không tự động phê duyệt; hãy xác định trước một trong các phương án: chuyển về xử lý thủ công, dừng quy trình hoặc thông báo cho người phụ trách cấp cao hơn.

4. Mức độ đầy đủ của căn cứ

Hãy tạm giữ hồ sơ thiếu văn bản đầu vào gốc, tài liệu tham chiếu, quy tắc áp dụng hoặc kết quả xác minh, ngay cả khi đầu ra trông tự nhiên. Ví dụ, khi xử lý hóa đơn, đừng chỉ hiển thị giá trị đã trích xuất; hãy đưa ảnh phần liên quan, đơn vị và kết quả đối chiếu với danh mục đối tác lên cùng một màn hình. Nếu người kiểm tra phải chuyển qua lại các màn hình khác để tìm căn cứ, thiết kế đó không thể rút ngắn thời gian rà soát.

Đưa “lý do cần phán đoán” vào màn hình rà soát

Đơn vị tối thiểu cần chuyển cho người phụ trách không phải văn bản trả lời của AI mà là “thẻ rà soát”. Thẻ nên tập hợp đầu vào gốc, đầu ra AI, lý do phát sinh ngoại lệ, căn cứ tham chiếu, phiên bản hệ thống và mô hình, đối tượng chịu ảnh hưởng, cùng các thao tác có thể chọn. Thao tác không chỉ gồm phê duyệt và từ chối mà còn cần có chỉnh sửa rồi tiếp tục, đổi người phụ trách, yêu cầu tài liệu bổ sung và dừng xử lý.

Tài liệu thực hành của Khung quản lý rủi ro AI NIST đề xuất ghi nhận và đo lường mức giám sát của con người, thao tác ghi đè, lỗi được báo cáo, thời gian phản hồi, chuyển cấp và quyết định có cho phép thực thi hay không. [3] Với hàng đợi ngoại lệ, cũng nên ghi lại số hồ sơ đến, thời gian tồn đọng, tỷ lệ trả lại, lý do chỉnh sửa và trường hợp quá hạn, chứ không chỉ độ chính xác. Thiếu những dữ liệu này, sẽ không thể biết việc thay ngưỡng là cải thiện hay chỉ chuyển gánh nặng sang con người.

People + AI Guidebook của Google cũng khuyến nghị cho phép người dùng chỉnh sửa đầu ra hoặc tắt tính năng, đồng thời giữ quy trình thủ công thông thường làm đường lui an toàn trong giai đoạn đầu triển khai. [4] Tuy nhiên, xử lý thủ công không phải nơi tiếp nhận vô hạn. Cách này chỉ hoạt động khi đã xác định ai tiếp nhận, xử lý trong thời hạn nào và phải dừng việc gì nếu vượt quá năng lực.

Đo năng lực hàng đợi trước khi đưa vào vận hành

Trong thử nghiệm đầu tiên, hãy đo “mỗi ngày có bao nhiêu hồ sơ thành ngoại lệ” và “mỗi quyết định mất bao nhiêu phút” trước khi đo độ chính xác của AI. Ví dụ giả định: mỗi ngày nhận 300 hồ sơ, 20% là ngoại lệ và mỗi hồ sơ mất 3 phút, tổng thời gian kiểm tra là 180 phút. Nếu giả định người phụ trách xử lý xen kẽ công việc thường ngày, cần xem cả mức dồn hồ sơ theo khung giờ chứ không chỉ số trung bình. Đây là ví dụ giả định; trên thực tế cần đo theo từng loại hồ sơ.

Bắt đầu với khoảng ba hàng đợi: khẩn cấp, thông thường và chờ phân tích sẽ dễ vận hành. Với hàng khẩn cấp, cố định thời hạn và quy trình thay thế; hàng thông thường ưu tiên vào trước xử lý trước; với hàng chờ phân tích, gom các hồ sơ cùng nguyên nhân và phản hồi cho nhóm phát triển. Phân loại quá chi tiết sẽ làm tăng công sức duy trì chính các quy tắc phân luồng; chỉ cần bổ sung sau khi xem dữ liệu tồn đọng.

Trình tự triển khai là: ① xác minh điều kiện phân luồng bằng dữ liệu quá khứ; ② xử lý thủ công toàn bộ hồ sơ song song với vận hành thực tế, đồng thời ghi lại khác biệt so với phán đoán của AI; ③ chỉ tự động hóa các quy trình có tác động thấp và có thể hủy; ④ xác nhận tỷ lệ ngoại lệ và thời gian tồn đọng nằm trong giới hạn rồi mới mở rộng phạm vi. Dù độ chính xác trung bình tốt, nếu ngoại lệ tập trung vào cuối tháng thì chưa nên mở rộng phạm vi vào thời điểm đó.

Thiết kế này không phù hợp nếu luật hoặc hợp đồng yêu cầu chuyên gia kiểm tra toàn bộ hồ sơ ngay từ đầu. Trong trường hợp đó, chỉ giới hạn AI ở việc sắp xếp tài liệu hoặc nêu các điểm có thể bị bỏ sót, thay vì để AI đưa ra phán đoán. Ngoài ra, nếu trong nghiệp vụ không có căn cứ để xác định đúng sai, cần xây dựng tiêu chí phán đoán trước khi tạo hàng đợi.

Gợi ý cho thực tiễn

Khuyến nghị 1: Đừng dừng ở yêu cầu “con người sẽ kiểm tra”; hãy lập một bảng gồm điều kiện ngoại lệ, người phụ trách, thời hạn và hành động khi vượt năng lực.

Khuyến nghị 2: Phân luồng theo mức độ nghiêm trọng của kết quả, khả năng làm lại, thời hạn và mức độ đầy đủ của căn cứ, chứ không chỉ dựa vào độ tin cậy của mô hình.

Khuyến nghị 3: Tập hợp căn cứ phán đoán và thao tác trên thẻ rà soát; đo số hồ sơ đến, thời gian tồn đọng, lý do chỉnh sửa và trường hợp quá hạn.

Khuyến nghị 4: Theo cách tiếp cận FDE (Forward Deployed Engineering), nên cùng nhân viên tại hiện trường phân loại các ngoại lệ thực tế, đo năng lực hàng đợi trong vận hành giới hạn rồi mới mở rộng phạm vi tự động hóa. Đưa xử lý ngoại lệ vào thiết kế nghiệp vụ ngay từ đầu, thay vì bổ sung sau, sẽ giúp ứng dụng AI tiếp tục vận hành trong thực tế.

Tài liệu tham khảo

1. Cơ quan Kỹ thuật số Nhật Bản “Hướng dẫn về mua sắm và sử dụng AI tạo sinh nhằm thúc đẩy sự phát triển và đổi mới trong hành chính (Phiên bản 2.0)”
2. Bộ Kinh tế, Thương mại và Công nghiệp “Hướng dẫn dành cho doanh nghiệp AI (Phiên bản 1.2)”
3. NIST AI RMF Playbook
4. Google People + AI Guidebook: Feedback + Control

Bài viết này được thực hiện với sự hỗ trợ của AI và đã được rà soát tự động trước khi xuất bản. Ngày kiểm tra thông tin: 2026-09-25.