Bộ câu hỏi kiểm thử cho biết AI trả lời đúng trên giấy; chạy thử song song cho biết nó có làm được việc thật, với dữ liệu thật, trong nhịp làm việc thật của công ty hay không. Đây là bước nhiều doanh nghiệp bỏ qua vì nóng lòng dùng ngay, rồi phải gỡ ra sau vài tuần vì những vấn đề không ai lường trước.
Chạy song song nghĩa là người vẫn làm việc như cũ, AI làm cùng việc đó ở bên cạnh, kết quả của AI chưa được dùng chính thức mà chỉ để so sánh. Bài này đưa ra kế hoạch bốn tuần, cách chọn việc và người thử, tiêu chí quyết định, và cách chuyển sang dùng thật mà vẫn giữ kiểm soát. Mọi số liệu là ví dụ giả định.
Vì sao kiểm thử trên giấy chưa đủ
Bộ câu hỏi kiểm thử dùng dữ liệu đã chọn lọc, câu hỏi đã làm sạch. Việc thật thì khác: hoá đơn chụp nghiêng, tệp tên lộn xộn, email của khách vừa hỏi hàng vừa phàn nàn, dữ liệu thiếu trường. Những thứ này chỉ xuất hiện khi AI làm với dòng công việc thật hằng ngày.
Thứ hai, kiểm thử không đo được tác động lên quy trình. AI có thể làm đúng từng việc nhưng làm chậm cả chuỗi, ví dụ người duyệt phải đọc lại quá nhiều, hay bước chuyển dữ liệu từ AI sang phần mềm kế toán tốn công hơn nhập tay. Chỉ khi chạy trong thực tế, bạn mới thấy thời gian thật tiết kiệm được là bao nhiêu sau khi tính cả thời gian kiểm.
Thứ ba, chạy song song cho người dùng thời gian làm quen mà không có áp lực. Nhân viên thấy được AI sai ở đâu, tự hình thành thói quen kiểm, trước khi kết quả của AI có ảnh hưởng thật. Nhờ đó, khi chuyển sang dùng chính thức, khâu kiểm soát đã thành thói quen chứ không phải quy định trên giấy.
Chọn việc và nhóm thí điểm
Chọn một việc, không chọn cả quy trình. Ví dụ "nhập thông tin hoá đơn đầu vào vào bảng theo dõi", không phải "tự động hoá kế toán". Việc càng hẹp thì càng dễ so sánh và càng dễ rút lui.
Việc có khối lượng đủ lớn và kết quả đo được. Cần đủ số lượng trong bốn tuần để thấy xu hướng, và kết quả có thể so đúng sai với cách làm cũ. Việc mang tính sáng tạo, khó chấm thì không hợp để thí điểm kiểu này.
Việc sai thì không gây hại ngay. Trong giai đoạn song song, kết quả AI không được dùng chính thức nên rủi ro thấp. Nhưng nên tránh chọn việc mà chỉ riêng việc đưa dữ liệu vào AI đã là rủi ro lớn về bảo mật, như hồ sơ sức khoẻ hay bảng lương.
Nhóm thử nhỏ và có người thích thử. Hai đến ba người, trong đó ít nhất một người có kinh nghiệm làm việc đó lâu năm để nhận ra lỗi, và một người cởi mở với công cụ mới. Tránh chọn toàn người hoài nghi hoặc toàn người quá hào hứng.
Một người chịu trách nhiệm ghi chép. Có người ghi đều đặn mỗi ngày: số việc, số kết quả AI khớp, số không khớp, thời gian. Thiếu ghi chép thì cuối bốn tuần chỉ còn cảm giác.
Kế hoạch bốn tuần
Khung dưới là gợi ý cho một việc vừa phải. Việc phức tạp hơn có thể kéo dài từng giai đoạn.
| Tuần | Việc chính | Đầu ra cần có |
|---|---|---|
| Tuần 1: chuẩn bị và chạy thử nhỏ | Viết câu lệnh, chọn công cụ được phép, quy định che dữ liệu, chạy thử vài chục việc | Câu lệnh ổn định, mẫu ghi chép, danh sách lỗi ban đầu |
| Tuần 2: song song toàn phần | Mọi việc trong phạm vi đều làm cả hai cách, so từng kết quả | Tỉ lệ khớp, loại lỗi, thời gian mỗi cách |
| Tuần 3: chỉnh và tiếp tục song song | Sửa câu lệnh theo lỗi tuần 2, thử quy trình kiểm của người duyệt | So sánh trước và sau khi chỉnh, thời gian kiểm thực tế |
| Tuần 4: đánh giá và quyết định | Tổng hợp số liệu, hỏi ý kiến nhóm thử, họp quyết định | Báo cáo một trang và quyết định dừng, kéo dài hay chuyển sang dùng thật |
Đừng rút ngắn tuần 2 và 3 vì thấy kết quả đẹp. Nhiều lỗi chỉ xuất hiện vào cuối tháng, khi khối lượng tăng, hay khi có loại chứng từ ít gặp.
Đo thời gian cho đúng
Câu hỏi mà chủ doanh nghiệp quan tâm nhất sau thí điểm thường là "tiết kiệm được bao nhiêu thời gian". Con số này rất dễ đo sai. Sai phổ biến nhất là chỉ tính thời gian AI làm ra kết quả, quên thời gian chuẩn bị dữ liệu, chụp và tải tệp lên, đọc lại, sửa lỗi, chuyển kết quả sang phần mềm khác. Có việc AI làm trong vài giây nhưng khâu chuẩn bị và kiểm mất nhiều phút.
Cách đo hợp lý là tính trọn một vòng việc, từ lúc nhận đầu vào đến lúc kết quả đã được kiểm và nằm đúng chỗ, cho cả cách làm cũ và cách làm có AI. Không cần đồng hồ chính xác; người làm ghi giờ bắt đầu và kết thúc cho một lô việc mỗi ngày là đủ. Lấy trung bình trên nhiều ngày để tránh ảnh hưởng của ngày bận hay ngày rảnh.
Nên tách riêng thời gian sửa lỗi. Nếu thời gian sửa giảm dần qua các tuần, đó là dấu hiệu câu lệnh và quy trình đang tốt lên. Nếu không giảm, vấn đề có thể nằm ở chính loại dữ liệu đầu vào, và cần cân nhắc thu hẹp phạm vi như ví dụ ở dưới.
Chuẩn bị nhân viên trước khi chạy thử
Nói rõ mục đích. Thí điểm để biết AI có giúp được việc này không, không phải để đánh giá ai làm nhanh hơn hay để chuẩn bị cắt giảm người. Nếu nhân viên nghĩ thí điểm là bước đầu để thay mình, số liệu họ ghi sẽ khó trung thực.
Hướng dẫn những điều cấm. Công cụ nào được dùng, dữ liệu nào phải che, không được dùng kết quả AI cho việc chính thức trong thời gian song song. Viết thành nửa trang và để ngay chỗ làm việc.
Cho phép ghi lại sự khó chịu. Thêm một cột ghi chú tự do trong mẫu ghi chép để người làm viết những điều bất tiện. Những ghi chú này thường chỉ ra vấn đề mà số liệu không thấy, như phải chuyển qua lại nhiều cửa sổ hay phải đổi tên tệp thủ công.
Hẹn buổi trao đổi ngắn mỗi tuần. Mười lăm phút cuối tuần để nhóm thử kể lại lỗi lạ nhất đã gặp và cách xử lý. Buổi này giúp người quản lý nắm tình hình sớm, không phải đợi đến báo cáo cuối kỳ mới biết có vấn đề.
Tiêu chí dừng, kéo dài hay mở rộng
Tiêu chí phải được viết ra trước khi bắt đầu, không phải sau khi đã thấy kết quả. Một bộ tiêu chí tham khảo:
- Dừng nếu có lỗi nặng lặp lại mà không sửa được bằng câu lệnh hay tài liệu, ví dụ AI liên tục đọc nhầm mã số thuế trên hoá đơn chụp.
- Dừng nếu tổng thời gian dùng AI cộng thời gian kiểm không ít hơn đáng kể so với làm tay.
- Kéo dài thêm hai tuần nếu kết quả cải thiện rõ sau khi chỉnh nhưng chưa ổn định.
- Chuyển sang dùng thật nếu tỉ lệ khớp ổn định ở mức nhóm đã đặt trước, không có lỗi nặng chưa giải quyết, và người làm thấy công việc dễ hơn.
- Chỉ mở rộng sang việc khác hoặc nhóm khác sau khi việc đầu tiên đã chạy thật ổn định ít nhất một tháng.
Tiêu chí về ý kiến người làm thường bị coi nhẹ, nhưng nếu người làm thấy khó chịu, họ sẽ bỏ qua bước kiểm hoặc quay về cách cũ khi không ai nhìn. Một công cụ người dùng không tin thì không kiểm soát được.
Ví dụ giả định: nhập liệu hoá đơn đầu vào ở xưởng may
Một xưởng may khoảng sáu mươi công nhân (ví dụ giả định) mỗi tháng nhận vài trăm hoá đơn đầu vào từ nhà cung cấp vải, phụ liệu, điện nước. Nhân viên mua hàng nhập tay vào bảng theo dõi công nợ. Xưởng thử dùng AI đọc ảnh chụp hoá đơn và điền các trường: nhà cung cấp, số hoá đơn, ngày, tổng tiền, thuế.
Tuần 2, AI điền khớp phần lớn hoá đơn điện tử dạng tệp, nhưng với hoá đơn giấy chụp bằng điện thoại thì sai khá nhiều ở số hoá đơn và tổng tiền, chủ yếu do ảnh mờ và nhầm dấu phân cách. Tuần 3, xưởng đổi cách: chỉ dùng AI cho hoá đơn điện tử, hoá đơn giấy vẫn nhập tay; câu lệnh được sửa để AI ghi "không đọc được" thay vì đoán khi trường bị mờ.
Cuối tuần 4, xưởng quyết định chuyển sang dùng thật cho hoá đơn điện tử, với quy định kế toán đối chiếu tổng tiền từng hoá đơn với tệp gốc trước khi ghi công nợ. Hoá đơn giấy tạm gác lại. Kết quả không ấn tượng như kỳ vọng ban đầu là "tự động toàn bộ", nhưng là một bước an toàn và thật sự đỡ việc.
Chuyển từ thí điểm sang dùng thật mà vẫn giữ kiểm soát
Ngày chuyển sang dùng thật không phải ngày bỏ kiểm tra. Các bước nên làm:
- Viết quy trình mới thành văn bản ngắn: AI làm bước nào, người kiểm bước nào, ai duyệt cuối, dựa trên những gì đã học được khi thí điểm.
- Giữ duyệt toàn bộ trong hai tuần đầu dùng thật, sau đó chuyển sang lấy mẫu theo kết quả.
- Đưa những tình huống lỗi gặp khi thí điểm vào bộ câu hỏi kiểm thử để chạy lại khi có thay đổi.
- Ghi nhật ký những việc AI đã làm, để khi có sai sót có thể truy lại.
- Giữ khả năng quay về cách cũ: người làm vẫn biết làm tay, mẫu biểu cũ vẫn còn, phòng khi công cụ gặp sự cố hay thay đổi điều khoản.
- Hẹn đánh giá lại sau ba tháng với cùng các chỉ số đã đo khi thí điểm.
Bước giữ khả năng quay về thường bị bỏ khi mọi thứ chạy tốt. Nhưng công cụ AI phụ thuộc nhà cung cấp, kết nối mạng và điều khoản sử dụng; doanh nghiệp nhỏ nên luôn có phương án làm tay cho những việc thiết yếu. Phần rủi ro phụ thuộc một dịch vụ AI có bài phân tích ở trang AI Bảo Mật.
Câu hỏi thường gặp
Chạy song song có tốn gấp đôi công không?
Trong bốn tuần thí điểm thì có tốn thêm, vì người vẫn làm việc cũ cộng thời gian so sánh. Đó là chi phí để biết chắc trước khi chuyển. Có thể giảm bằng cách chọn việc hẹp và giới hạn số lượng trong tuần đầu.
Có cần thí điểm với việc đơn giản như soạn email không?
Với việc mức rủi ro thấp, không cần quy trình bốn tuần đầy đủ; vài ngày dùng thử kèm đọc lại là đủ. Thí điểm song song đáng làm với việc có khối lượng lớn, có số liệu, hoặc kết quả đi vào sổ sách và hệ thống.
Nếu nhóm thử quá hào hứng và báo cáo kết quả đẹp hơn thực tế thì sao?
Vì vậy cần ghi chép số liệu hằng ngày theo mẫu cố định và có người kinh nghiệm trong nhóm. Tiêu chí quyết định dựa trên số đã ghi, không dựa trên cảm nhận trong buổi họp cuối.
Dữ liệu dùng khi thí điểm có cần che không?
Có. Dù kết quả chưa dùng chính thức, dữ liệu vẫn đi qua công cụ AI. Áp dụng đúng quy định của công ty về dữ liệu được phép đưa vào, che tên khách, thông tin cá nhân và bí mật kinh doanh không cần cho việc.
Thí điểm thất bại thì có phí công không?
Không. Một thí điểm cho thấy AI chưa hợp với việc đó giúp công ty tránh được sai sót khi dùng thật và chi phí thuê bao không cần thiết. Ghi lại lý do để xem lại khi công cụ có phiên bản mới.