AI tạo sinh có thể viết ra một câu sai hoàn toàn bằng giọng văn tự tin y như câu đúng, và đó là lý do lỗi bịa khó bắt hơn lỗi chính tả rất nhiều. Người trong nghề gọi hiện tượng này là "ảo giác"; ở văn phòng, nó hiện ra dưới dạng một điều khoản không có trong hợp đồng, một con số thị trường không ai công bố, một tên văn bản pháp luật nghe rất thật.
Bài này dành cho người duyệt văn bản do AI soạn: trưởng phòng, kế toán, nhân viên pháp chế, người phụ trách nội dung. Bạn sẽ có danh sách những chỗ AI hay bịa nhất, các dấu hiệu cần dừng lại khi đọc, quy trình kiểm chứng ba lớp, và cách viết câu lệnh để giảm bịa ngay từ đầu.
Vì sao AI bịa mà vẫn viết trôi chảy
Các mô hình ngôn ngữ lớn được huấn luyện để tạo ra chuỗi chữ hợp lý nhất theo ngữ cảnh. "Hợp lý" ở đây là hợp lý về mặt ngôn ngữ, giống với cách con người thường viết, chứ không phải đúng với sự thật trong công ty bạn. Khi mô hình không có thông tin, nó không tự động dừng lại mà thường điền vào chỗ trống bằng thứ nghe giống nhất. Một bản tóm tắt hợp đồng mua bán thường có điều khoản phạt chậm giao hàng, nên nếu hợp đồng gốc không có, mô hình vẫn có thể "tóm tắt" ra một điều khoản như vậy.
Các công cụ hiện nay đã giảm hiện tượng này đáng kể, nhất là khi được đưa tài liệu nguồn và được yêu cầu bám nguồn. Nhưng giảm không phải là hết. Mức độ còn phụ thuộc vào cách hỏi, độ dài tài liệu, và việc tài liệu có bị cắt bớt khi đưa vào hay không. Một hợp đồng dài vượt giới hạn mà công cụ đọc được trong một lần có thể bị bỏ sót phần cuối mà không có cảnh báo rõ.
Điều này dẫn tới nguyên tắc làm việc quan trọng nhất: độ trôi chảy của văn bản không nói gì về độ đúng của nó. Người duyệt phải tách hai việc, đọc để xem văn có ổn không, và đối chiếu để xem thông tin có đúng không. Việc thứ hai không làm được bằng cách đọc lướt.
Những chỗ AI hay bịa nhất trong việc văn phòng
Lỗi bịa không rải đều trong văn bản. Nó tập trung ở một số loại thông tin cụ thể, và người duyệt nên dồn sức vào đó.
| Loại thông tin | Kiểu bịa thường gặp | Cách kiểm |
|---|---|---|
| Số hiệu văn bản pháp luật, tiêu chuẩn | Ghi số nghị định, thông tư, số điều khoản nghe hợp lý nhưng không tồn tại hoặc đã hết hiệu lực | Tra trên cổng văn bản chính thức hoặc hỏi người phụ trách pháp chế |
| Con số thống kê, thị phần, tỉ lệ | Đưa ra phần trăm cụ thể kèm "theo một khảo sát" không rõ nguồn | Xoá nếu không tìm được nguồn gốc; không dùng số không có xuất xứ |
| Điều khoản trong tài liệu được tóm tắt | Thêm điều khoản phổ biến mà bản gốc không có, hoặc đảo nghĩa "được" thành "không được" | Mỗi ý trong bản tóm tắt phải chỉ ra được trang, mục trong bản gốc |
| Tên người, chức danh, tên công ty | Ghép nhầm chức danh, đoán tên đầy đủ từ tên viết tắt | Đối chiếu danh bạ, chữ ký thư, hồ sơ khách hàng |
| Tính năng, thông số sản phẩm | Gán thông số của dòng sản phẩm khác hoặc tính năng phổ biến trong ngành | So với phiếu thông số gốc của nhà sản xuất |
| Tài liệu tham khảo, đường dẫn | Liệt kê sách, bài báo, trang web không có thật | Mở từng nguồn; không tìm thấy thì bỏ |
Nhìn bảng này, bạn sẽ thấy điểm chung: mọi thứ cụ thể, có tên, có số đều là vùng cần kiểm. Phần diễn giải chung chung ít khi gây chuyện bằng một con số sai đặt đúng chỗ quan trọng.
Dấu hiệu nên dừng lại khi đọc
Ngoài việc kiểm theo loại thông tin, có một số dấu hiệu trong cách viết gợi ý rằng AI đang lấp chỗ trống. Khi gặp những dấu hiệu này, hãy chậm lại và đối chiếu:
- Câu có độ chính xác cao bất thường so với tài liệu nguồn, ví dụ nguồn chỉ nói "khoảng một tháng" mà bản tóm tắt ghi "trong vòng 28 ngày làm việc".
- Cụm "theo quy định hiện hành", "theo nghiên cứu", "theo số liệu mới nhất" mà không kèm nguồn cụ thể.
- Một danh sách đều đặn quá mức, như đúng năm lợi ích, đúng năm rủi ro, trong khi tài liệu gốc không chia như vậy.
- Thông tin về sự kiện gần đây, vì mô hình có thể không có dữ liệu cập nhật đến thời điểm bạn hỏi.
- Tên riêng xuất hiện trong bản nháp nhưng không có trong bất kỳ tài liệu nào bạn đưa vào.
- Câu khẳng định chắc chắn về điều mà ngay cả chuyên gia trong công ty cũng thường nói "còn tuỳ".
Không phải câu nào có dấu hiệu trên cũng sai. Mục đích là định hướng con mắt người duyệt, để thời gian đối chiếu có hạn được dùng vào đúng chỗ.
Quy trình kiểm chứng ba lớp
Với văn bản mức rủi ro cao, như bản tóm tắt hợp đồng gửi ban giám đốc hay báo cáo gửi đối tác, nên kiểm theo ba lớp. Tổng thời gian thường ngắn hơn bạn nghĩ nếu đã có thói quen.
- Lớp một, đánh dấu: đọc một lượt và tô đậm mọi thông tin cụ thể gồm số, ngày, tên, điều khoản, trích dẫn. Chưa kiểm vội, chỉ đánh dấu.
- Lớp hai, đối chiếu nguồn: với mỗi chỗ đã đánh dấu, tìm vị trí tương ứng trong tài liệu gốc. Chỗ nào không tìm thấy, ghi chữ "không nguồn" bên cạnh.
- Lớp ba, xử lý: chỗ có nguồn mà khớp thì giữ; chỗ có nguồn mà lệch thì sửa theo nguồn; chỗ "không nguồn" thì hoặc tìm nguồn bên ngoài đáng tin, hoặc xoá, hoặc ghi rõ là ước tính chưa kiểm chứng.
- Đọc lại toàn văn lần cuối để chắc việc xoá, sửa không làm hỏng mạch văn hay để lại câu cụt.
- Ghi vào sổ lỗi những chỗ AI bịa, kèm câu lệnh đã dùng, để lần sau chỉnh cách hỏi.
Có thể nhờ chính AI hỗ trợ lớp hai bằng cách yêu cầu nó trích nguyên văn đoạn trong tài liệu gốc làm căn cứ cho từng ý. Nhưng bạn vẫn phải mở tài liệu gốc ra xem đoạn trích có thật không, vì đoạn trích cũng có thể bị bịa.
Câu lệnh giảm bịa ngay từ đầu
Đưa nguồn, đừng hỏi suông. Thay vì hỏi "các điều kiện bảo hành phổ biến là gì", hãy dán chính sách bảo hành của công ty (đã che thông tin khách và bí mật kinh doanh) và yêu cầu chỉ trả lời dựa trên văn bản đó.
Cho phép nói không biết. Thêm vào câu lệnh một ý như: nếu thông tin không có trong tài liệu, ghi rõ "tài liệu không đề cập", không tự suy đoán. Nhiều người không viết dòng này nên mô hình mặc định phải trả lời bằng mọi giá.
Yêu cầu chỉ ra vị trí. Ví dụ câu lệnh: "Tóm tắt hợp đồng sau thành tám ý chính. Sau mỗi ý, ghi số mục tương ứng trong hợp đồng. Không thêm điều khoản không có trong văn bản." Việc ghi số mục giúp người duyệt đối chiếu nhanh hơn nhiều.
Tách việc tìm thông tin và việc viết. Bước đầu chỉ nhờ AI liệt kê các dữ kiện trích từ nguồn; bạn kiểm danh sách đó. Bước sau mới nhờ viết thành văn dựa trên danh sách đã kiểm.
Chia tài liệu dài. Hợp đồng hay báo cáo dài nên đưa từng phần, tóm tắt từng phần, rồi ghép. Cách này giảm nguy cơ phần cuối bị bỏ qua.
Ví dụ giả định: bản tóm tắt hợp đồng thuê kho
Một công ty thương mại nhỏ (ví dụ giả định) nhờ AI tóm tắt hợp đồng thuê kho dài mười bốn trang để giám đốc đọc trước buổi đàm phán gia hạn. Bản tóm tắt gọn gàng, có mục "phạt chấm dứt trước hạn: ba tháng tiền thuê". Giám đốc dựa vào đó để tính phương án chuyển kho.
Khi nhân viên hành chính làm lớp hai, đối chiếu từng ý với hợp đồng, mục phạt này không tìm thấy ở đâu. Hợp đồng thực tế chỉ nói bên thuê mất tiền đặt cọc nếu chấm dứt trước hạn mà không báo trước đủ thời gian. Con số ba tháng là thứ mô hình điền vào vì nó hay xuất hiện trong các hợp đồng thuê nói chung. Ngoài ra, bản tóm tắt bỏ sót phụ lục về trách nhiệm sửa chữa mái, vì phụ lục nằm ở cuối và tệp được dán vào đã bị cắt bớt.
Sau lần đó, công ty sửa câu lệnh mẫu cho việc tóm tắt hợp đồng: bắt buộc ghi số mục, cho phép ghi "không đề cập", và đưa hợp đồng theo từng phần kèm phụ lục riêng. Hợp đồng được xếp vào mức rủi ro cao, nghĩa là bản tóm tắt nào cũng phải qua đủ ba lớp kiểm trước khi đến tay người ra quyết định.
Ai trong công ty nên kiểm phần nào
Không phải ai cũng kiểm được mọi loại bịa. Người phụ trách sản phẩm phát hiện ngay thông số sai nhưng có thể bỏ qua một số hiệu văn bản pháp luật không tồn tại. Kế toán nhìn ra con số vô lý nhưng có thể không biết một tính năng sản phẩm được mô tả sai. Vì vậy, với văn bản quan trọng nhiều phần, nên chia phần kiểm theo chuyên môn: phần pháp lý cho người phụ trách pháp chế hoặc luật sư bên ngoài, phần số liệu cho kế toán, phần kỹ thuật cho người phụ trách sản phẩm.
Doanh nghiệp nhỏ thường không đủ người cho từng phần. Khi đó, nguyên tắc tối thiểu là: thông tin nào có thể khiến công ty mất tiền hoặc vướng pháp lý thì phải có người hiểu chuyên môn đó xác nhận, kể cả phải thuê ngoài theo vụ việc. Với những lĩnh vực như pháp luật, y tế, tài chính, AI chỉ nên được dùng để sắp xếp và trình bày thông tin đã có nguồn, không phải là nguồn.
Cuối cùng, hãy nói rõ với cả nhóm rằng phát hiện ra AI bịa là việc tốt, đáng được ghi nhận, chứ không phải lỗi của người dùng. Khi người ta ngại báo vì sợ bị đánh giá là dùng AI kém, lỗi sẽ âm thầm đi tiếp.
Câu hỏi thường gặp
Công cụ AI mới nhất còn bịa thông tin không?
Các phiên bản mới bịa ít hơn, nhất là khi được đưa tài liệu và yêu cầu bám nguồn, nhưng chưa có công cụ nào loại bỏ hoàn toàn hiện tượng này. Với văn bản quan trọng, vẫn phải đối chiếu nguồn như thường lệ.
Bật chế độ tìm kiếm trên mạng có giúp AI hết bịa không?
Giúp có thông tin cập nhật hơn và có đường dẫn nguồn để kiểm, nhưng AI vẫn có thể hiểu sai nội dung trang nguồn hoặc lấy từ trang kém tin cậy. Bạn vẫn cần mở nguồn ra đọc, không chỉ tin vào việc có nguồn được liệt kê.
Làm sao phân biệt AI bịa với AI suy luận hợp lý?
Suy luận hợp lý thì chỉ ra được căn cứ trong tài liệu và các bước dẫn tới kết luận. Bịa thì đưa ra thông tin cụ thể không có căn cứ. Khi không chắc, hãy hỏi lại AI căn cứ của câu đó nằm ở đâu, rồi tự kiểm căn cứ ấy.
Có nên cấm hẳn dùng AI cho văn bản pháp lý không?
Không nhất thiết cấm, nhưng nên giới hạn ở việc sắp xếp, tóm tắt có ghi vị trí nguồn và soạn nháp để người có chuyên môn sửa. Việc diễn giải điều luật cho một vụ việc cụ thể nên để luật sư hoặc người phụ trách pháp chế làm.
Dán hợp đồng vào chatbot có an toàn không?
Trước khi dán, che tên các bên, số tài khoản, giá trị hợp đồng nếu không cần thiết cho việc tóm tắt, và dùng công cụ công ty đã cho phép. Quy định về dữ liệu được dán vào AI có bài chi tiết ở trang AI Bảo Mật.
Có cách nào tự động phát hiện AI bịa không?
Có một số cách hỗ trợ như nhờ một công cụ khác đối chiếu bản tóm tắt với tài liệu gốc, hoặc dùng công cụ tìm kiếm trong tài liệu để kiểm từng con số. Chúng giúp lọc nhanh, nhưng với văn bản mức cao, người hiểu chuyên môn vẫn phải là người xác nhận cuối.