Mọi trạm camera kiểm lỗi đều sai theo hai kiểu: cho qua một sản phẩm lỗi, gọi là bỏ sót, và loại một sản phẩm đạt, gọi là loại nhầm. Không có trạm nào không sai; câu hỏi đúng là sai kiểu nào bao nhiêu thì xưởng chấp nhận được, và đo hai con số đó thế nào cho trung thực.
Bài này dành cho trưởng QC và chủ xưởng đang nghe nhà cung cấp nói "độ chính xác chín mươi mấy phần trăm" và muốn biết con số ấy có nghĩa gì với xưởng mình. Nội dung đi qua bảng bốn ô, cách đặt ngưỡng theo tiền mất thật, cách đo bỏ sót khi đang chạy và cách tổ chức vùng xám. Mọi con số là ví dụ giả định.
Vì sao một con số "độ chính xác" không nói lên điều gì
Ví dụ giả định: một xưởng sản xuất mỗi ngày mười nghìn nắp chai, tỉ lệ lỗi thật khoảng một phần trăm, tức một trăm chiếc lỗi. Một trạm "lười" cho qua tất cả, không loại chiếc nào, vẫn đúng với chín nghìn chín trăm chiếc đạt, nghĩa là "độ chính xác" chín mươi chín phần trăm. Con số rất đẹp, nhưng trạm đó không bắt được chiếc lỗi nào.
Vì vậy khi nghe một con số độ chính xác chung, bạn cần hỏi tách ra: trong số hàng lỗi thật, trạm bắt được bao nhiêu phần trăm, và trong số hàng đạt thật, trạm loại nhầm bao nhiêu phần trăm. Hai con số này mới nói lên chất lượng trạm, và chúng thường kéo nhau theo hai chiều ngược nhau.
Hai kiểu sai cũng gây hậu quả rất khác nhau. Bỏ sót nghĩa là hàng lỗi đến tay khách: bị trả hàng, bị phạt hợp đồng, mất uy tín, và với một số ngành như thực phẩm hay linh kiện an toàn thì hậu quả nặng hơn nhiều. Loại nhầm nghĩa là hàng đạt bị đẩy ra ngoài: tốn công người xem lại, tốn nguyên liệu nếu hàng bị huỷ, và nếu loại nhầm quá nhiều thì công nhân mất niềm tin vào máy, bắt đầu nhặt hàng bị loại bỏ lại vào thùng mà không xem.
Đọc bảng bốn ô của một trạm kiểm lỗi
Cách rõ nhất để nhìn kết quả của trạm là bảng bốn ô, so kết luận của máy với kết luận của người QC giỏi trên cùng một bộ sản phẩm. Dưới đây là ví dụ giả định trên một nghìn sản phẩm kiểm thử, trong đó năm mươi chiếc lỗi thật.
| Người QC kết luận: lỗi | Người QC kết luận: đạt | |
|---|---|---|
| Máy kết luận: lỗi | 45 chiếc (bắt đúng) | 38 chiếc (loại nhầm) |
| Máy kết luận: đạt | 5 chiếc (bỏ sót) | 912 chiếc (cho qua đúng) |
Từ bảng này: trạm bắt được 45 trên 50 chiếc lỗi, tức chín mươi phần trăm; bỏ sót mười phần trăm số hàng lỗi. Trạm loại nhầm 38 trên 950 chiếc đạt, khoảng bốn phần trăm. Và trong 83 chiếc máy loại ra, chỉ 45 chiếc thật sự lỗi, nghĩa là người xem lại sẽ thấy gần một nửa thùng hàng bị loại là hàng đạt.
Con số cuối cùng hay bị bỏ qua nhưng rất quan trọng với tinh thần làm việc. Khi người xem lại thấy nửa thùng là hàng tốt, họ dễ nghĩ máy kém. Giải thích trước cho tổ QC rằng điều này là bình thường khi lỗi hiếm, và quan trọng là con số bỏ sót, sẽ giữ được niềm tin.
Ngưỡng tin cậy: kéo bên này thì chùng bên kia
Phần lớn phần mềm AI không kết luận đạt hay lỗi một cách tuyệt đối mà cho ra một điểm, ví dụ từ không đến một, thể hiện mức máy nghĩ sản phẩm có lỗi. Người vận hành đặt một ngưỡng: điểm trên ngưỡng thì loại, dưới ngưỡng thì cho qua. Hạ ngưỡng xuống, máy loại nhiều hơn, bắt thêm hàng lỗi nhưng cũng loại nhầm thêm hàng đạt. Nâng ngưỡng lên thì ngược lại.
Không có ngưỡng nào làm cả hai con số cùng tốt lên. Muốn giảm cả bỏ sót lẫn loại nhầm cùng lúc, bạn phải cải thiện bản thân trạm: ánh sáng tốt hơn, ảnh mẫu nhiều hơn và đúng hơn, mô hình phù hợp hơn. Ngưỡng chỉ là chỗ chọn điểm đứng trên một đường cong có sẵn.
Cách chọn ngưỡng hợp lý là chạy cả bộ ảnh kiểm thử với nhiều ngưỡng khác nhau, ghi lại hai con số ở mỗi ngưỡng, rồi vẽ ra một bảng. Nhiều phần mềm làm sẵn việc này. Nếu phần mềm chỉ cho xuất danh sách điểm số, bạn có thể đưa bảng tính vào chatbot và hỏi: "Bảng này gồm hai cột, điểm máy chấm và kết luận của QC là lỗi hay đạt. Với các ngưỡng từ 0,1 đến 0,9 bước 0,05, hãy tính số hàng lỗi bị bỏ sót và số hàng đạt bị loại nhầm ở mỗi ngưỡng." Bảng này chỉ cần mã ảnh và điểm số, không cần tên khách hay mã hàng. Kiểm lại vài dòng bằng tay vì chatbot có thể tính sai khi bảng dài.
Đặt ngưỡng theo tiền mất thật, không theo cảm tính
Hai kiểu sai có giá khác nhau, nên ngưỡng tốt nhất là ngưỡng làm tổng thiệt hại thấp nhất, cộng với ràng buộc không được vượt mức bỏ sót mà khách chấp nhận.
- Ước tính thiệt hại của một chiếc lỗi lọt đến khách: chi phí đổi trả, vận chuyển, phạt hợp đồng nếu có, công xử lý khiếu nại. Ghi con số ví dụ giả định cho xưởng bạn.
- Ước tính thiệt hại của một chiếc đạt bị loại nhầm: công người xem lại, hoặc giá trị sản phẩm nếu hàng bị loại không được xem lại mà huỷ luôn.
- Với từng ngưỡng trong bảng thử, nhân số bỏ sót với thiệt hại thứ nhất, số loại nhầm với thiệt hại thứ hai, cộng lại.
- Loại bỏ những ngưỡng có tỉ lệ bỏ sót vượt mức khách yêu cầu hoặc mức an toàn nội bộ, dù tổng tiền thấp.
- Trong các ngưỡng còn lại, chọn ngưỡng có tổng thiệt hại thấp nhất, rồi xem số hàng bị loại mỗi ca có vừa sức người xem lại không.
- Ghi ngưỡng đã chọn, ngày chọn, lý do vào phiếu cấu hình trạm. Không ai được tự đổi ngưỡng mà không ghi lại.
Ví dụ giả định: nếu một chiếc lỗi lọt ra gây thiệt hại gấp năm mươi lần công xem lại một chiếc đạt, ngưỡng tốt nhất thường nằm ở vùng loại hơi rộng tay, chấp nhận người xem lại vất vả hơn để giảm bỏ sót. Với sản phẩm giá trị thấp, khách dễ tính, cán cân có thể ngược lại.
Đo bỏ sót khi trạm đang chạy thật
Bỏ sót là con số khó đo nhất. Hàng bị loại thì có người xem nên biết ngay loại nhầm bao nhiêu. Hàng được cho qua thì đã vào thùng, không ai biết trong đó có bao nhiêu chiếc lỗi, trừ khi chủ động đi tìm.
Kiểm lại một phần hàng đã cho qua. Mỗi ca, lấy ngẫu nhiên một lượng hàng máy đã cho qua để QC kiểm lại bằng mắt theo cách cũ. Số chiếc lỗi tìm được trong mẫu này cho bạn ước lượng tỉ lệ bỏ sót khi chạy thật. Lượng mẫu và cách lấy mẫu nên theo phương án lấy mẫu mà xưởng đang áp dụng.
Thả mẫu lỗi chuẩn vào dây chuyền. Đầu ca, cho vài chiếc lỗi chuẩn có đánh dấu kín chạy qua trạm. Máy phải loại tất cả. Chiếc nào lọt qua là báo động, dừng lại kiểm đèn, kính, vị trí.
Theo dõi khiếu nại của khách theo loại lỗi. Nếu khách phàn nàn về một loại lỗi mà trạm được giao bắt, đó là bỏ sót đã xảy ra. Lần ngược theo lô và ngày để tìm ảnh trạm đã chụp chiếc đó, nếu hệ thống lưu ảnh.
Không giải thích bỏ sót bằng "do AI". Mỗi lần bỏ sót cần tìm nguyên nhân cụ thể: lỗi không có trong ảnh vì đèn, lỗi chưa từng có trong bộ huấn luyện, ngưỡng đặt quá cao, hay sản phẩm lệch khỏi khung hình.
Thêm ngăn hàng nghi ngờ: vùng xám cho người quyết
Thay vì chỉ có hai ngăn đạt và loại, nhiều xưởng dùng ba ngăn với hai ngưỡng. Cách làm này thường giảm cả bỏ sót lẫn công xem lại, vì người chỉ phải xem những chiếc máy thật sự phân vân.
- Điểm thấp, dưới ngưỡng dưới: máy khá chắc là đạt, cho qua thẳng, chỉ kiểm mẫu xác suất.
- Điểm cao, trên ngưỡng trên: máy khá chắc là lỗi, loại thẳng, người kiểm lại theo lô để xác nhận và ghi nguyên nhân.
- Điểm ở giữa: đẩy vào ngăn nghi ngờ, người QC xem từng chiếc và quyết. Mỗi quyết định được ghi lại, thành ảnh có nhãn để dạy lại mô hình.
- Khi ngăn nghi ngờ đầy quá nhanh: đó là tín hiệu có gì đó thay đổi trên dây chuyền, như lô nguyên liệu mới hay đèn lệch, chứ không chỉ là việc nhiều hơn.
- Khi ngăn nghi ngờ gần như trống: có thể hai ngưỡng đặt quá sát nhau, nên xem lại.
Muốn có ba ngăn thì cơ cấu loại hàng phải đẩy được ra hai máng khác nhau, hoặc máy đánh dấu hàng nghi ngờ bằng cách khác như dừng băng tải ngắn. Bàn chuyện này với nhà cung cấp từ lúc thiết kế, sửa sau tốn kém hơn.
Báo cáo hằng tuần một trang cho chủ xưởng
Chủ xưởng không cần xem bảng bốn ô mỗi ngày, nhưng cần một trang báo cáo mỗi tuần để biết trạm còn đáng tin hay không. Một trang đủ dùng gồm: số sản phẩm đã kiểm, số bị loại, số trong ngăn nghi ngờ, kết quả người xem lại hàng bị loại, kết quả kiểm lại mẫu hàng đã cho qua, kết quả chạy mẫu lỗi chuẩn đầu ca, và khiếu nại của khách liên quan đến các loại lỗi trạm phụ trách.
Bạn có thể nhờ chatbot soạn khung báo cáo và viết phần nhận xét từ bảng số liệu đã xuất ra. Câu lệnh mẫu: "Đây là số liệu một tuần của trạm kiểm lỗi, gồm các cột ngày, ca, số kiểm, số loại, số loại nhầm sau khi xem lại, số lỗi tìm thấy khi kiểm lại mẫu hàng đã qua. Hãy tính tỉ lệ loại nhầm và ước lượng tỉ lệ bỏ sót theo từng ngày, chỉ ra ngày nào bất thường và gợi ý những gì cần kiểm." Số liệu kiểu này không chứa thông tin cá nhân, nhưng vẫn nên bỏ tên khách và mã đơn hàng.
Đừng để báo cáo biến thành công cụ phạt người trực ca. Tỉ lệ bỏ sót tăng thường do đèn, nguyên liệu hay mô hình, ít khi do người đứng cạnh máy. Mục đích của trang báo cáo là phát hiện sớm để sửa trạm.
Câu hỏi thường gặp
Nhà cung cấp nói độ chính xác chín mươi chín phần trăm thì có tin được không?
Con số đó chưa đủ để đánh giá. Hãy hỏi tách riêng: trạm bắt được bao nhiêu phần trăm hàng lỗi thật, loại nhầm bao nhiêu phần trăm hàng đạt, đo trên bộ sản phẩm nào, của xưởng nào. Khi lỗi hiếm, một trạm không bắt gì vẫn có thể đạt độ chính xác chung rất cao.
Có thể đặt ngưỡng để vừa không bỏ sót vừa không loại nhầm không?
Gần như không. Ngưỡng chỉ chọn điểm đứng giữa hai kiểu sai. Muốn giảm cả hai cùng lúc phải cải thiện ánh sáng, bộ ảnh mẫu, mô hình. Sau khi cải thiện, đặt lại ngưỡng trên bộ ảnh kiểm thử cố định.
Làm sao biết trạm đang bỏ sót bao nhiêu khi chạy thật?
Kiểm lại ngẫu nhiên một phần hàng máy đã cho qua bằng người, thả mẫu lỗi chuẩn đầu ca để xem máy có bắt không, và theo dõi khiếu nại của khách theo loại lỗi. Ba nguồn này cộng lại cho ước lượng bỏ sót khá sát thực tế.
Vì sao thùng hàng bị loại có rất nhiều hàng đạt?
Khi lỗi hiếm, dù trạm chỉ loại nhầm một phần nhỏ hàng đạt, số lượng hàng đạt bị loại vẫn có thể bằng hoặc hơn số hàng lỗi thật. Đây là hiện tượng bình thường, cần giải thích trước với người xem lại để họ không mất niềm tin vào máy.
Ngăn hàng nghi ngờ có cần thiết với xưởng nhỏ không?
Rất nên có nếu cơ cấu loại hàng cho phép. Người chỉ phải xem những chiếc máy phân vân, mỗi quyết định thành một ảnh có nhãn để dạy lại mô hình, và lượng hàng trong ngăn này còn là tín hiệu sớm khi dây chuyền có thay đổi.
Ai được phép thay đổi ngưỡng của trạm?
Chỉ người được giao trách nhiệm, thường là trưởng QC, và mỗi lần đổi phải ghi ngày, ngưỡng cũ, ngưỡng mới, lý do và kết quả đo trên bộ kiểm thử. Đổi ngưỡng tuỳ tiện để giảm việc xem lại là cách nhanh nhất để hàng lỗi lọt ra ngoài.