Trước khi để một trợ lý AI trả lời nhân viên về chính sách nhân sự, hay trả lời khách về sản phẩm, bạn cần một cách biết nó trả lời đúng đến mức nào, và cách đó không thể là "thử vài câu thấy ổn". Một bộ câu hỏi kiểm thử là danh sách câu hỏi có sẵn đáp án chuẩn, chạy định kỳ để đo chất lượng, giống như bộ mẫu chuẩn mà phòng QC dùng để kiểm máy đo.
Bài này hướng dẫn lập bộ kiểm thử cho doanh nghiệp không có kỹ sư AI: lấy câu hỏi ở đâu, chia nhóm thế nào để không bỏ sót điểm yếu, viết đáp án chuẩn và tiêu chí chấm, cách chạy và khi nào phải chạy lại. Một bảng tính là đủ để làm toàn bộ.
Vì sao thử vài câu cho vui là chưa đủ
Khi mới dựng xong một chatbot hay trợ lý nội bộ, người làm thường hỏi vài câu quen thuộc, thấy trả lời đúng là yên tâm. Vấn đề là những câu đó thường là câu dễ nhất, và người hỏi đã biết đáp án nên vô thức chấp nhận câu trả lời gần đúng. Những câu khó, câu mơ hồ, câu nằm ngoài tài liệu mới là nơi AI sai, và chúng hiếm khi được thử.
Vấn đề thứ hai là không so được. Tuần này bạn đổi câu chỉ dẫn, thử năm câu khác với năm câu tuần trước, và không biết chất lượng tăng hay giảm. Một bộ câu hỏi cố định, chạy lại sau mỗi lần thay đổi, cho bạn con số để so: tuần trước đúng bốn mươi tám trên sáu mươi câu, tuần này năm mươi hai.
Vấn đề thứ ba là công cụ AI thay đổi mà bạn không kiểm soát được. Nhà cung cấp cập nhật mô hình, cách trả lời có thể đổi khác. Bộ kiểm thử là cách duy nhất để phát hiện sớm khi một trợ lý đang chạy tốt bỗng trả lời khác đi ở một nhóm câu nào đó.
Lấy câu hỏi từ đâu
Câu hỏi tốt nhất là câu hỏi thật, không phải câu do người dựng chatbot tự nghĩ ra. Các nguồn nên khai thác:
- Lịch sử tin nhắn, email hỏi đáp của khách hoặc nhân viên trong vài tháng gần nhất, đã che tên và thông tin cá nhân.
- Câu hỏi mà bộ phận chăm sóc khách hay nhân sự trả lời nhiều nhất, hỏi trực tiếp người đang làm việc đó.
- Những câu từng gây hiểu lầm hoặc khiếu nại, vì đây là nơi trả lời sai có hậu quả.
- Câu hỏi về những thứ vừa thay đổi: chính sách mới, sản phẩm mới, quy trình mới.
- Câu hỏi được diễn đạt theo nhiều cách: viết tắt, không dấu, sai chính tả, dùng từ địa phương, vì người thật hỏi như vậy.
- Câu hỏi nằm ngoài phạm vi mà người dùng có thể hỏi, để kiểm xem AI có biết từ chối không.
Với doanh nghiệp nhỏ, bộ đầu tiên khoảng năm mươi đến một trăm câu là hợp lý. Ít hơn thì khó thấy xu hướng; nhiều hơn thì chấm mất nhiều công mà chưa chắc thêm thông tin.
Chia bộ câu hỏi thành bốn nhóm
Một bộ kiểm thử chỉ có câu dễ sẽ cho kết quả đẹp mà vô dụng. Nên chia theo bốn nhóm, mỗi nhóm có tỉ trọng hợp lý (ví dụ giả định):
| Nhóm | Mô tả | Tỉ trọng gợi ý | Câu trả lời đúng là |
|---|---|---|---|
| Thường gặp | Câu hỏi hằng ngày, đáp án có sẵn trong tài liệu | Khoảng một nửa | Đúng và đủ theo tài liệu |
| Khó | Cần kết hợp nhiều đoạn tài liệu, có điều kiện, có ngoại lệ | Khoảng một phần năm | Nêu đúng điều kiện, không bỏ ngoại lệ |
| Bẫy | Câu hỏi dựa trên giả định sai, hoặc dụ AI hứa điều không có | Khoảng một phần mười | Sửa giả định sai, không hứa |
| Ngoài phạm vi | Câu không có trong tài liệu hoặc thuộc lĩnh vực không được tư vấn | Khoảng một phần năm | Nói không có thông tin, chuyển người hoặc gợi ý nơi phù hợp |
Ví dụ câu bẫy cho trợ lý nhân sự: "Công ty cho nghỉ phép không lương tối đa sáu tháng đúng không?" khi chính sách không có điều đó. Trợ lý đạt yêu cầu phải nói rõ tài liệu không có quy định như vậy, thay vì xác nhận hay tự đặt ra con số khác.
Viết đáp án chuẩn và tiêu chí chấm
Đáp án chuẩn là ý, không phải câu. AI sẽ diễn đạt khác nhau mỗi lần, nên đáp án chuẩn nên liệt kê các ý bắt buộc phải có, ví dụ: "đủ mười hai tháng làm việc", "nộp đơn trước bảy ngày", "trưởng bộ phận duyệt". Chấm theo việc có đủ ý hay không.
Ghi cả ý cấm. Bên cạnh ý bắt buộc, ghi những điều không được nói: không hứa thời gian xử lý, không nêu con số không có trong tài liệu, không tư vấn pháp lý. Một câu trả lời đủ ý nhưng có ý cấm vẫn tính là sai.
Thang chấm ba mức. Đạt: đủ ý bắt buộc, không ý cấm. Chưa đủ: thiếu ý nhưng không sai. Sai: có thông tin sai hoặc có ý cấm. Thang đơn giản giúp nhiều người chấm cho kết quả giống nhau.
Người viết đáp án là người hiểu nghiệp vụ. Đáp án cho câu hỏi nhân sự do người phụ trách nhân sự viết, câu hỏi sản phẩm do người phụ trách sản phẩm viết. Người dựng chatbot không nên tự viết đáp án vì dễ viết theo cái chatbot đã trả lời.
Ghi nguồn cho mỗi đáp án. Đáp án dựa trên mục nào của tài liệu nào, phiên bản ngày nào. Khi tài liệu thay đổi, bạn biết ngay câu nào cần sửa đáp án.
Chạy và chấm bộ kiểm thử
Quy trình chạy cho doanh nghiệp không có công cụ tự động, dùng bảng tính:
- Mỗi câu hỏi một dòng, các cột: mã câu, nhóm, câu hỏi, ý bắt buộc, ý cấm, nguồn, kết quả lần chạy.
- Đặt mỗi câu vào trợ lý trong một phiên mới, không để câu trước ảnh hưởng câu sau.
- Dán nguyên câu trả lời vào bảng, kèm ngày chạy và phiên bản câu chỉ dẫn hoặc tài liệu đang dùng.
- Hai người chấm độc lập một phần bộ câu để kiểm xem tiêu chí có rõ không; nếu hai người chấm khác nhau nhiều, sửa tiêu chí.
- Tổng hợp kết quả theo nhóm, không chỉ tổng chung. Đạt cao ở nhóm thường gặp nhưng thấp ở nhóm bẫy là tín hiệu nguy hiểm.
- Với mỗi câu sai, ghi nguyên nhân và hướng sửa: bổ sung tài liệu, sửa câu chỉ dẫn, hoặc chấp nhận và chuyển chủ đề đó sang người.
Nếu trợ lý có tính ngẫu nhiên cao, với các câu quan trọng nên chạy hai đến ba lần và xem có lần nào sai không. Một câu đúng hai lần sai một lần thì vẫn là câu có rủi ro.
Khi nào phải chạy lại
Bộ kiểm thử chỉ có giá trị khi được chạy lại đúng lúc. Các thời điểm bắt buộc:
- Sau mỗi lần sửa câu chỉ dẫn hệ thống, dù chỉ thêm một dòng.
- Sau mỗi lần cập nhật tài liệu nguồn như chính sách, bảng giá, danh mục sản phẩm.
- Khi chuyển sang mô hình khác hoặc nhà cung cấp thông báo cập nhật phiên bản.
- Định kỳ mỗi tháng dù không có thay đổi gì, để phát hiện thay đổi từ phía nhà cung cấp.
- Sau mỗi sự cố trả lời sai có thật, kèm việc thêm câu hỏi của sự cố đó vào bộ.
Điểm cuối cùng giúp bộ kiểm thử lớn dần theo kinh nghiệm thật của công ty. Mỗi lỗi từng lọt ra ngoài trở thành một câu kiểm tra vĩnh viễn, bảo đảm lỗi đó không quay lại sau một lần cập nhật.
Lưu kết quả mỗi lần chạy thành một cột mới thay vì ghi đè. Nhìn ngang một dòng, bạn thấy lịch sử của từng câu: câu nào luôn đạt, câu nào dao động, câu nào từng đạt rồi trượt. Những câu dao động là nơi nên xem kỹ trước tiên mỗi khi có thay đổi.
Những lỗi hay gặp khi lập bộ kiểm thử
Viết câu hỏi quá giống tài liệu. Người lập bộ thường chép gần nguyên câu trong sổ tay rồi thêm dấu hỏi. AI tìm được đáp án rất dễ vì từ ngữ trùng khớp, nên kết quả đẹp hơn thực tế. Người dùng thật hỏi bằng lời của họ, thường ngắn và thiếu ngữ cảnh.
Bộ câu đóng băng. Lập một lần rồi để nguyên cả năm trong khi chính sách, sản phẩm đã thay đổi. Đáp án chuẩn lỗi thời làm bộ kiểm thử chấm sai, thậm chí chấm đạt cho câu trả lời theo chính sách cũ.
Chỉ nhìn tỉ lệ chung. Tỉ lệ đạt tổng có thể tăng trong khi một nhóm nhỏ quan trọng như câu bẫy lại giảm. Luôn đọc kết quả theo nhóm và đọc lại nguyên văn các câu sai.
Người chấm thay đổi tiêu chí giữa chừng. Lần trước chấm "chưa đủ", lần này chấm "đạt" cho cùng kiểu trả lời vì người chấm dễ tính hơn. Ghi tiêu chí rõ trong bảng và giữ cùng người chấm, hoặc chấm chéo, giúp các lần chạy so được với nhau.
Ví dụ giả định: trợ lý trả lời chính sách nhân sự
Một công ty dịch vụ khoảng tám mươi nhân viên (ví dụ giả định) dựng trợ lý AI đọc sổ tay nhân sự để trả lời câu hỏi về nghỉ phép, phụ cấp, quy trình xin nghỉ. Phòng nhân sự lập bộ sáu mươi câu từ email hỏi đáp của nhân viên trong nửa năm, chia bốn nhóm như trên. Lần chạy đầu, nhóm thường gặp đạt gần hết, nhưng nhóm bẫy chỉ đạt chưa đến một nửa: trợ lý hay xác nhận theo giả định của người hỏi.
Phòng nhân sự sửa câu chỉ dẫn, thêm yêu cầu kiểm giả định trong câu hỏi và nói rõ khi tài liệu không có quy định. Chạy lại, nhóm bẫy cải thiện rõ. Nhóm ngoài phạm vi vẫn có vài câu trợ lý trả lời về luật lao động chung chung; công ty quyết định thêm câu trả lời mẫu chuyển những câu này cho cán bộ nhân sự.
Ba tháng sau, khi sổ tay cập nhật chế độ phụ cấp mới, bộ kiểm thử phát hiện trợ lý vẫn trả lời theo mức cũ ở hai câu, vì phần tài liệu cũ chưa được gỡ khỏi nguồn. Lỗi được sửa trước khi nhân viên nào hỏi đến.
Câu hỏi thường gặp
Bộ kiểm thử cần bao nhiêu câu là đủ?
Với doanh nghiệp nhỏ, khởi đầu năm mươi đến một trăm câu là hợp lý, chia đủ bốn nhóm. Bộ sẽ lớn dần khi thêm câu từ sự cố thật và từ chính sách mới.
Có nên nhờ AI tự sinh câu hỏi kiểm thử không?
Có thể dùng để gợi ý thêm cách diễn đạt khác nhau cho cùng một câu, hoặc gợi ý câu bẫy. Nhưng phần cốt lõi nên là câu hỏi thật từ khách và nhân viên, và đáp án chuẩn phải do người hiểu nghiệp vụ viết.
Có thể dùng AI để chấm câu trả lời không?
Có thể dùng để chấm sơ bộ khi bộ câu lớn, so câu trả lời với danh sách ý bắt buộc và ý cấm. Nên có người chấm lại một phần để kiểm xem AI chấm có lệch không, nhất là ở nhóm bẫy và ngoài phạm vi.
Đạt bao nhiêu phần trăm thì được đưa vào dùng?
Không có ngưỡng chung. Nhóm bẫy và ngoài phạm vi nên đạt gần như toàn bộ trước khi cho người ngoài dùng, vì sai ở đó gây hậu quả. Nhóm khó có thể chấp nhận thấp hơn nếu có cơ chế chuyển cho người khi trợ lý không chắc.
Câu hỏi kiểm thử có chứa dữ liệu thật của khách thì sao?
Che tên, số điện thoại, mã khách, địa chỉ và mọi thông tin nhận diện trước khi đưa vào bộ. Bộ kiểm thử được chạy nhiều lần qua công cụ AI nên càng phải sạch dữ liệu cá nhân.
Ai nên giữ bộ kiểm thử?
Một người cụ thể, thường là người phụ trách nghiệp vụ mà trợ lý phục vụ, phối hợp với người dựng trợ lý. Người giữ chịu trách nhiệm cập nhật đáp án khi tài liệu thay đổi và lên lịch chạy định kỳ.