Càng cho AI đọc nhiều tài liệu, câu trả lời càng tốt? Thiết kế chọn lọc đầu vào

Một nhân viên cần gấp câu trả lời cho cuộc họp ban điều hành nên chọn 80 tài liệu có vẻ liên quan trong thư mục dùng chung và đưa tất cả cho AI tạo sinh. Câu trả lời trông mạch lạc, nhưng khi lần theo căn cứ thì quy trình đã hết hiệu lực và quy định hiện hành lại được xử lý với cùng trọng số. Cảm giác yên tâm vì đã cung cấp nhiều tài liệu đã che khuất xung đột phiên bản.

Dù ngày càng nhiều mô hình nhận được đầu vào dài, “lượng có thể nạp vào” không đồng nghĩa với “lượng căn cứ có thể dùng trong nghiệp vụ”. Điều cần thiết kế trước không phải số ký tự tối đa, mà là với từng câu hỏi, tài liệu nào được đưa vào, tài liệu nào bị loại và phiên bản nào được ưu tiên. Bài viết gọi tập đầu vào đã chọn lọc này là “gói căn cứ”.

Đưa toàn bộ tài liệu vào sẽ che khuất quyết định để đổi lấy việc bỏ qua tìm kiếm

Lợi ích của việc đưa toàn bộ tài liệu vào rất rõ: giảm lo bỏ sót khi tìm kiếm và có thể bắt đầu thử nghiệm nhanh. Nhưng khi tài liệu trùng lặp, bản cũ, tài liệu chỉ để tham khảo và thông tin có quyền truy cập khác nhau cùng nằm trong một đầu vào, câu trả lời không cho biết tài liệu nào được coi là chuẩn.

Nghiên cứu “Lost in the Middle” về đầu vào dài báo cáo rằng trong các nhiệm vụ như hỏi đáp trên nhiều tài liệu, chỉ cần thay đổi vị trí của thông tin liên quan cũng làm hiệu năng biến động lớn; hiệu năng có xu hướng giảm khi thông tin nằm giữa đầu vào.[1] Điều này không khẳng định mọi mô hình hiện tại đều chịu ảnh hưởng ở cùng mức độ. Tuy nhiên, giới hạn đầu vào lớn không phải bằng chứng rằng mô hình chắc chắn sử dụng đúng căn cứ cần thiết.

Hướng dẫn chính thức của Anthropic cũng khuyến nghị cấu trúc hóa tài liệu và thông tin nguồn, đồng thời yêu cầu trích dẫn phần liên quan trước khi trả lời khi xử lý tài liệu dài.[2] Đây là khuyến nghị dành cho một sản phẩm cụ thể, nhưng hàm ý vận hành rộng hơn: cần có một bước trước câu trả lời cuối cùng để kiểm tra “đã chọn phần nào của tài liệu nào làm căn cứ”.

Một lựa chọn khác là chỉ cung cấp một tập nhỏ tài liệu cố định. Cách này dễ quản lý nhưng nhanh chóng thiếu thông tin khi phạm vi câu hỏi mở rộng. Gói căn cứ nằm giữa hai cực: tập hợp tài liệu cần thiết theo loại câu hỏi, kiểm tra phiên bản và quyền, rồi mới chuyển cho mô hình.

Chọn gói căn cứ theo bốn trục

1. Thẩm quyền — tài liệu chính thức hay chỉ để tham khảo

Trước hết, xác định thứ bậc tài liệu. Không đặt quy định nội bộ, quy trình đã phê duyệt, hợp đồng, FAQ và ghi chú cuộc họp ngang hàng. Nhóm nghiệp vụ cần quy định thứ tự ưu tiên khi câu trả lời xung đột, chẳng hạn: “hợp đồng và pháp luật”, “quy định nội bộ”, “quy trình đã phê duyệt”, “tài liệu tham khảo”, “ghi chú cá nhân”. Nếu để AI tự đoán thứ tự này, hệ thống có thể nhầm độ chi tiết hoặc độ mới với thẩm quyền.

2. Phiên bản và thời hạn hiệu lực — bản mới nhất chưa chắc đã đủ

Với câu hỏi về nghiệp vụ hiện hành, lọc theo ngày bắt đầu và kết thúc hiệu lực. Nhưng khi kiểm toán hồ sơ cũ, phiên bản cần dùng không phải bản mới nhất hiện tại mà là bản có hiệu lực tại thời điểm xử lý. Một quy tắc “luôn dùng bản mới nhất” là chưa đủ. Hãy ghi cùng nhau ngày chuẩn của câu hỏi, phiên bản tài liệu và phạm vi áp dụng.

3. Mức liên quan — tập hợp theo yếu tố quyết định, không chỉ từ giống nhau

Ngay cả khi khớp từ khóa, tài liệu có thể thiếu yếu tố cần để trả lời. Chẳng hạn với câu hỏi về công tác phí, không chỉ tìm từ “chi phí đi lại” mà cần kiểm tra đủ đối tượng, tuyến đường, hạn mức, phê duyệt ngoại lệ và ngày áp dụng. Đừng chuyển thẳng các kết quả tìm kiếm đứng đầu vào mô hình; hãy chen một bước kiểm tra thiếu trường thông tin.

4. Phạm vi tiết lộ — phân biệt thông tin có thể đọc và thông tin nên đưa vào

Một nhân viên có quyền xem tài liệu không có nghĩa toàn bộ nội dung đều cần cho câu trả lời cụ thể. Với dữ liệu cá nhân, bí mật kinh doanh hoặc điều kiện riêng của khách hàng, hãy so sánh các phương án: chỉ trích xuất đoạn cần thiết, thay mã định danh hoặc dùng bản tóm tắt có mức mật thấp hơn. Hồ sơ rủi ro AI tạo sinh của NIST nêu rủi ro mô hình làm lộ thông tin nhạy cảm hoặc suy ra thông tin nhạy cảm bằng cách kết hợp nhiều nguồn.[3]

Gắn nguồn gốc cho tài liệu trước khi hiển thị trích dẫn

Mỗi đoạn trong gói căn cứ cần có mã tài liệu, tiêu đề, đơn vị sở hữu, phiên bản, thời hạn hiệu lực, mức mật, liên kết tới bản gốc và vị trí trích xuất. Chỉ hiển thị số nguồn trong câu trả lời là chưa đủ: nếu nguồn gốc của đầu vào mơ hồ, người kiểm tra không thể phán định tính đúng đắn.

Phiên bản 2.0 của hướng dẫn mua sắm và sử dụng AI tạo sinh của Cơ quan Kỹ thuật số Nhật Bản đưa ra biện pháp gắn thông tin nguồn gốc cho dữ liệu được lựa chọn lúc chạy và chèn vào prompt. Danh sách kiểm tra mua sắm cũng yêu cầu quản lý độ chính xác, bảo mật, toàn vẹn, cấu trúc và nguồn gốc của dữ liệu tác động đến AI tạo sinh.[4] Dù dành cho mua sắm chính phủ, các mục này cũng hữu ích khi doanh nghiệp xác định thông tin quản lý cho gói căn cứ.

Chia xử lý thành hai giai đoạn. Giai đoạn một thu thập tài liệu ứng viên từ loại câu hỏi, ngày chuẩn và quyền của người dùng. Giai đoạn hai kiểm tra trùng lặp, hết hiệu lực, xung đột thứ bậc và thiếu yếu tố bắt buộc, đồng thời lưu lý do chọn và loại. Chỉ những đoạn vượt qua giai đoạn hai mới được chuyển cho mô hình.

Khi phát hiện xung đột, không để mô hình tự hợp nhất theo hướng thuận tiện. Hãy trả lại khác biệt, chẳng hạn “Quy định A đặt hạn mức X, còn Quy trình B đặt Y”, rồi yêu cầu chủ sở hữu tài liệu xác nhận. NIST cảnh báo AI tạo sinh có thể tạo ra không chỉ nội dung sai mà còn lập luận có vẻ hợp lý hoặc trích dẫn hư cấu, khiến con người tin quá mức.[3] Vì vậy, không chỉ kiểm tra có trích dẫn hay không mà phải xác minh nguồn thực sự tồn tại và đoạn được dẫn có hỗ trợ phát biểu đó.

Trong thử nghiệm, đo riêng chất lượng câu trả lời và chất lượng đầu vào

Với mỗi câu hỏi đánh giá, ngoài câu trả lời đúng, hãy ghi “tài liệu bắt buộc phải dùng”, “bản cũ không được dùng” và “yếu tố quyết định cần có”. Các chỉ số gồm độ chính xác của câu trả lời, tỷ lệ chọn đúng tài liệu, tỷ lệ lẫn bản cũ, tỷ lệ thiếu yếu tố và số trường hợp lẫn thông tin vượt quyền. Dù tình cờ trả lời đúng, nếu dựa vào sai phiên bản thì vẫn không đạt.

Ví dụ giả định: chuẩn bị 100 câu hỏi tra cứu quy định hằng tháng và chia chúng thành hiện hành, thời điểm quá khứ, xin ngoại lệ và xung đột nhiều quy định. Trước tiên chỉ đánh giá khâu tìm kiếm và chọn lọc; sau đó mới tạo câu trả lời từ gói căn cứ đã chọn. Nếu phần đầu thất bại mà chỉ điều chỉnh câu chữ trong prompt, nhóm triển khai sẽ sửa nhầm mục tiêu. Số lượng thực tế cần phù hợp loại nghiệp vụ và rủi ro.

Cách xây gói căn cứ động không phù hợp trong trường hợp tài liệu ít, không xung đột phiên bản, cùng mức mật và chuyên gia luôn đọc kỹ sản phẩm cuối. Khi đó, chi phí xây nền tảng chọn lọc có thể không đáng. Ngược lại, nếu tài liệu thay đổi thường xuyên, cần trả lời tại một thời điểm quá khứ hoặc kiểm soát quyền xem theo đơn vị, không thể bỏ qua quản lý gói căn cứ.

Hàm ý thực tiễn

Khuyến nghị 1: Đừng lấy giới hạn đầu vào của mô hình làm yêu cầu trung tâm. Hãy xác định trước thẩm quyền, phiên bản, mức liên quan và phạm vi tiết lộ của tài liệu.

Khuyến nghị 2: Với mỗi câu hỏi, xác định ngày chuẩn và các yếu tố quyết định bắt buộc; ghi cả lý do loại, không chỉ tài liệu được chọn.

Khuyến nghị 3: Bên cạnh trích dẫn trong câu trả lời, hãy triển khai quản lý nguồn gốc gồm liên kết bản gốc, thời hạn hiệu lực, đơn vị sở hữu và vị trí trích xuất.

Khuyến nghị 4: Trong FDE (Forward Deployed Engineering), hãy dùng chính các câu hỏi và xung đột tài liệu khiến nhân viên hiện trường bối rối để kiểm tra riêng khâu tìm kiếm/chọn lọc và khâu tạo câu trả lời. Việc quyết định AI được đọc gì là quyết định nghiệp vụ, không chỉ là cấu hình kỹ thuật.

Tài liệu tham khảo

1. Liu và cộng sự, “Lost in the Middle: How Language Models Use Long Contexts”
2. Anthropic, “Prompting best practices”
3. NIST, “Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile”
4. Cơ quan Kỹ thuật số Nhật Bản, “Hướng dẫn mua sắm và sử dụng AI tạo sinh phục vụ đổi mới hành chính (phiên bản 2.0)”

Bài viết này được thực hiện với sự hỗ trợ của AI và đã được rà soát tự động trước khi xuất bản. Ngày kiểm tra thông tin: 2026-09-26.