Kiểm thử LLM trong ngành phải tuân thủ chỉ qua được audit khi mỗi quy định bạn phải tuân theo đều gắn với một bài test có tên, và mỗi bài test để lại một bằng chứng mà người ngoài đội có thể tự kiểm tra. Điểm accuracy đơn thuần không làm được điều đó. Trên thực tế, một kế hoạch sẵn sàng cho audit gồm bốn phần: bộ dữ liệu chuẩn (golden dataset) có phiên bản, do chuyên gia nghiệp vụ gắn nhãn; cổng hồi quy trong CI cho mọi thay đổi model hoặc prompt; test tấn công và test ranh giới dữ liệu; và chấm điểm mẫu lưu lượng thật, có người duyệt. Phần lớn các đội chưa tới mức đó. Trong khảo sát State of Agent Engineering 2026 của LangChain, 94% đội có agent chạy production đã có observability, nhưng chỉ 37,3% tổng số người trả lời chạy eval online. Bài này gắn HIPAA, PCI DSS, EU AI Act và hướng dẫn ngân hàng Mỹ với từng bài test và bằng chứng cụ thể. Cập nhật tháng 10/2026.
Bộ eval thông thường hỏi model có tốt không. Auditor hỏi câu khác: cho tôi xem biện pháp kiểm soát, cho tôi thấy nó đã chạy, và cho tôi thấy chuyện gì xảy ra khi nó thất bại. Trả lời được những câu đó cần bằng chứng dùng được sau sự việc: phiên bản model nào đã trả lời, nó thấy dữ liệu gì, nó đã qua bộ test nào, ai duyệt các ngoại lệ, và sau đó đã thay đổi gì.
Khoảng trống này có thật. LangChain khảo sát 1.340 người làm nghề từ tháng 11 đến tháng 12/2025 và công bố kết quả tháng 6/2026. Trong các đội có agent chạy production, 94% có observability ở mức nào đó và 71,5% có tracing đầy đủ. Tính trên toàn bộ người trả lời, chỉ 52,4% chạy eval offline và 37,3% chạy eval online. Trace cho biết chuyện gì đã xảy ra. Eval cho biết kết quả đó có chấp nhận được không. Sản phẩm trong ngành tuân thủ cần cả hai, và cần ghi lại thành văn bản. Phần phân biệt chung giữa eval và observability có trong bài đánh giá và quan sát AI agent. Bài này nói về lớp tuân thủ nằm bên trên.
Rất ít luật nhắc thẳng tới LLM. Nhưng nhiều luật đặt ra nghĩa vụ kiểm thử, ghi log và chịu trách nhiệm, áp dụng cho mọi hệ thống xử lý dữ liệu hoặc đưa ra quyết định đó. Đây là những gì áp dụng tính đến tháng 10/2026:

Hãy bắt đầu mỗi dự án AI trong ngành tuân thủ từ một ma trận như dưới đây. Mỗi dòng kết thúc bằng một bằng chứng, vì câu "chúng tôi đã test rồi" không phải là bằng chứng. Một báo cáo có ngày và có phiên bản mới là bằng chứng.
| Quy định | Người đánh giá hỏi gì | Loại test | Bằng chứng |
|---|---|---|---|
| HIPAA Security Rule | PHI có thể rời phạm vi được bảo vệ không? Ai đã truy cập gì? | Test ranh giới PHI bằng bản ghi "canary" tổng hợp; test che dữ liệu trước mỗi lượt gọi model; test quyền truy cập theo vai trò | Sơ đồ luồng dữ liệu, danh sách BAA, log chạy test cho thấy không canary nào bị lộ, mẫu log audit |
| PCI DSS v4.0.1 | Dữ liệu thẻ có nằm ngoài phạm vi của model không? | Bộ dò PAN trên prompt, output, trace và dữ liệu eval; thử injection để ép model lặp lại dữ liệu thẻ | Sơ đồ phạm vi, kết quả bộ dò theo từng bản phát hành, cấu hình lưu trữ log và quyền truy cập |
| EU AI Act Điều 50 (đang áp dụng) | Người dùng có được báo đang nói chuyện với AI không? Nội dung tạo sinh có được đánh dấu không? | Test UI và API khẳng định có thông báo và đánh dấu trên mọi kênh | Ảnh chụp màn hình hoặc contract test theo từng bản phát hành, nhật ký thay đổi |
| EU AI Act rủi ro cao (Điều 9, 12, 15; Phụ lục III từ 2/12/2027) | Đã test theo chỉ số định trước chưa? Sự kiện có được ghi log không? Độ chính xác đã công bố chưa? | Accuracy trên golden set với ngưỡng; bộ test độ bền và tấn công; test độ đầy đủ của log | Kế hoạch test có chỉ số và ngưỡng, tài liệu kỹ thuật, log được lưu giữ, độ chính xác công bố trong hướng dẫn sử dụng |
| Rủi ro mô hình ngân hàng Mỹ (nguyên tắc SR 26-2; AI tạo sinh theo chính sách của ngân hàng) | Mô hình có phù hợp mục đích, được phản biện độc lập và giám sát liên tục không? | Rà soát tính hợp lý về khái niệm, so sánh benchmark, phân tích kết quả, giám sát drift liên tục | Báo cáo thẩm định, bản xuất dashboard giám sát, nhật ký vấn đề kèm ngày khắc phục |
| FinCEN AML/CFT (đề xuất) | AI có làm chương trình hiệu quả hơn không? | Precision và recall của cảnh báo so với rule engine cũ trên các ca đã gắn nhãn; tỷ lệ người duyệt đảo quyết định | Báo cáo chỉ số trước/sau, mẫu hồ sơ đã duyệt |
| Mọi quy định, với agent | Agent có thể làm gì, và nó đã làm gì? | Test quyền tool (các đường bị từ chối), eval quỹ đạo (trajectory), bộ test prompt injection và tool poisoning | Cấu hình allowlist, log audit theo từng hành động, báo cáo red team |

Bảy thứ, lưu trong version control cạnh code. Thứ nào chỉ nằm trong notebook của một người thì đến ngày audit sẽ thiếu.
Hãy hình dung một vòng lặp gồm bốn trạm, trạm cuối quay về trạm đầu:
Một file kế hoạch tối giản, không phụ thuộc công cụ, trông như sau:
suite: claims-summary-v3
owner: compliance-eng
regimes: [hipaa, eu-ai-act-art50]
dataset: datasets/claims-golden@2026-10-01 # dữ liệu tổng hợp, chuyên gia gắn nhãn
gates:
- metric: critical_field_accuracy
threshold: ">= 0.97"
- metric: unsupported_claim_rate
threshold: "<= 0.01"
- metric: phi_canary_leaks
threshold: "== 0"
- metric: ai_disclosure_present
threshold: "== 1.0"
adversarial: [prompt_injection_v5, exfiltration_v2, tool_poisoning_v1]
online:
sample_rate: 0.05
human_review: "confidence < 0.8 or action in [deny, escalate]"
evidence_out: reports/{suite}/{git_sha}.json
Mỗi lần chạy ghi một báo cáo gắn với commit Git, nên câu hỏi "trước khi phiên bản X ra mắt đã test những gì?" trả lời được chỉ bằng một lần tra.

Với agent, phần rủi ro là hành động, nên phải test cả con đường agent đã đi chứ không chỉ văn bản cuối. Ba loại test quan trọng:
Các test này chỉ thành bằng chứng khi runtime ghi lại mọi hành động. Trong Kite, framework agent mã nguồn mở của chúng tôi, model chỉ đề xuất hành động. Một kernel kiểm tra từng hành động theo allowlist tool, ngân sách và chính sách, rồi thực thi hoặc từ chối và ghi log, và tính năng tracing có thể ghi mọi sự kiện ra file JSON. Ở phía server, MCP server EcoCheck mà chúng tôi vận hành ghi một dòng audit cho mỗi request của agent (chủ thể, phương thức, đường dẫn, được phép hay bị từ chối). Thiết kế này có trong hướng dẫn phát triển MCP server. Những log như vậy biến một phát hiện red team thành một bài test tái lập được.
Một bộ hồ sơ bằng chứng, không phải tài khoản đăng nhập dashboard. Hãy chuẩn bị sẵn trước khi ai đó hỏi:
Kiến trúc riêng cho y tế (che PHI, chuỗi BAA, log chống sửa) có trong bài AI agent tuân thủ HIPAA.
Thất bại thường gặp không phải điểm thấp. Đó là thiếu hồ sơ. Những kiểu sau cần tránh:
Bạn kiểm thử cả hệ thống, không chỉ model. Gieo các bản ghi PHI "canary" tổng hợp và khẳng định chúng không bao giờ tới endpoint nào chưa có BAA. Test việc che dữ liệu trước mỗi lượt gọi model, kiểm tra quyền truy cập theo vai trò, và giữ log audit ai đã xem gì. Lưu kết quả test theo từng bản phát hành làm bằng chứng cho phân tích rủi ro.
Với hệ thống rủi ro cao thì có. Từ 2/12/2027 (Phụ lục III), nhà cung cấp phải kiểm thử theo chỉ số định trước, tự động ghi log sự kiện và công bố độ chính xác. Với mọi hệ thống AI giao tiếp với con người, nghĩa vụ minh bạch ở Điều 50 đã áp dụng, và bạn nên test để chắc chắn thông báo xuất hiện trên mọi kênh.
Không. SR 11-7 đã được thay bằng hướng dẫn liên cơ quan về quản lý rủi ro mô hình sửa đổi (SR 26-2) ngày 17/4/2026. Hướng dẫn mới nói rõ AI tạo sinh và AI agent nằm ngoài phạm vi, nhưng yêu cầu ngân hàng áp dụng thực hành quản trị rủi ro của mình cho các hệ thống đó. Dù vậy, hãy chuẩn bị sẵn bằng chứng theo kiểu thẩm định.
Eval offline chạy một bộ dữ liệu cố định đã gắn nhãn trước khi phát hành, để so các phiên bản trong cùng điều kiện. Eval online chấm một mẫu lưu lượng production thật sau khi phát hành, để bắt drift và các kiểu input mới. Ngành tuân thủ cần cả hai, cộng với người duyệt các ca mà bộ chấm đánh dấu.
Được, như một lớp, nếu bạn hiệu chỉnh nó. Đo độ đồng thuận của model chấm với nhãn chuyên gia trên một tập giữ riêng, ghi con số đó vào kế hoạch eval, và giữ kiểm tra tất định cùng việc chuyên gia lấy mẫu cho các trường quan trọng. Hiệu chỉnh lại mỗi khi model chấm thay đổi.
BeevR xây AI cho y tế, fintech và các lĩnh vực phải audit, với kế hoạch eval, log và điểm duyệt của con người được thiết kế từ sprint đầu tiên, giá cố định theo giai đoạn và bạn sở hữu toàn bộ code. Xem cách chúng tôi làm phát triển AI agent và AI agent tuân thủ HIPAA, hoặc kể cho chúng tôi auditor của bạn đang yêu cầu gì.