Chất lượng của một mô hình AI kiểm lỗi phụ thuộc vào bộ ảnh mẫu nhiều hơn vào bất kỳ thứ gì khác, và bộ ảnh đó chỉ xưởng của bạn mới làm được. Nhà cung cấp mang đến camera và phần mềm, nhưng họ không biết vết xước nào khách của bạn chấp nhận, vết nào bị trả hàng. Vì vậy phần việc chụp, phân loại và gắn nhãn ảnh lỗi gần như luôn rơi vào tổ QC.
Bài này hướng dẫn làm phần việc đó cho bài bản: bắt đầu từ sổ tay lỗi, chụp ảnh thế nào, bao nhiêu là đủ, gắn nhãn sao cho nhiều người gắn giống nhau, chia ảnh để đo cho trung thực, và giữ kho ảnh sống theo thời gian. Không có số ảnh "chuẩn" áp dụng cho mọi xưởng; các con số trong bài đều là ví dụ giả định.
Sổ tay lỗi trước, ảnh sau
Sai lầm phổ biến là cầm điện thoại chụp ngay vài trăm ảnh hàng lỗi rồi gửi cho nhà cung cấp. Kết quả là kho ảnh lộn xộn: cùng một vết lõm, người này gọi là móp, người kia gọi là lõm, người thứ ba gọi là biến dạng. Mô hình học từ dữ liệu như vậy sẽ bối rối đúng như con người.
Việc đầu tiên là lập sổ tay lỗi: danh sách các loại lỗi, mỗi loại có tên thống nhất, mô tả ngắn, nguyên nhân thường gặp, mức độ nghiêm trọng, và quan trọng nhất là ranh giới giữa đạt và không đạt. Ranh giới này nên minh hoạ bằng mẫu giới hạn: một chiếc vừa đủ đạt và một chiếc vừa đủ không đạt cho mỗi loại lỗi, được trưởng QC ký xác nhận, cất ở nơi cả xưởng xem được. Nhiều xưởng làm hàng xuất khẩu đã có sẵn mẫu giới hạn do khách duyệt; nếu có thì dùng luôn.
Khi sổ tay đã thống nhất, mỗi ảnh chụp ra chỉ việc gán vào một tên lỗi có sẵn. Nếu gặp một lỗi chưa có tên, đó là tín hiệu để họp nhanh và bổ sung sổ tay, không phải để mỗi người tự đặt một tên mới. Sổ tay này cũng có giá trị ngay cả khi xưởng chưa bao giờ lắp camera, vì nó giúp người QC mới học nghề nhanh hơn.
Chụp mẫu trên chính trạm, cùng đèn, cùng vị trí
Ảnh để huấn luyện phải giống hệt ảnh mà trạm sẽ chụp khi chạy thật. Ảnh chụp bằng điện thoại trên bàn làm việc chỉ dùng được để minh hoạ sổ tay, không dùng để dạy mô hình.
- Hoàn tất cấu hình đèn và vị trí camera trước khi chụp mẫu. Đổi đèn sau khi đã chụp nghĩa là phải chụp lại.
- Cho hàng đạt chạy qua trạm theo tốc độ thật, ở nhiều ca, nhiều lô nguyên liệu khác nhau, để mô hình thấy được sự thay đổi bình thường của sản phẩm.
- Với hàng lỗi, lấy từ khu hàng hỏng, hàng khách trả, mẫu giới hạn. Mỗi chiếc nên chụp vài lần ở các tư thế hơi khác nhau mà trên dây chuyền vẫn có thể gặp.
- Đánh số từng chiếc lỗi và ghi số đó vào tên tệp ảnh, để sau này biết những ảnh nào là cùng một sản phẩm.
- Ghi kèm ngày, ca, lô nguyên liệu, cấu hình đèn cho từng đợt chụp trong một bảng tính đơn giản.
- Không tự tạo lỗi bằng cách cào, đập sản phẩm trừ khi lỗi tạo ra giống hệt lỗi thật. Vết cào bằng dao trông khác vết xước do va chạm trên băng tải, và mô hình sẽ học nhầm.
Một số phần mềm có công cụ tự nhân bản ảnh bằng cách xoay, lật, đổi độ sáng. Công cụ đó giúp ích, nhưng chỉ nên biến đổi theo những kiểu thật sự xảy ra trên dây chuyền. Lật ngược một sản phẩm luôn chạy một chiều chỉ làm mô hình học thứ không bao giờ gặp.
Bao nhiêu ảnh là đủ
Không có con số chung, và nhà cung cấp nào hứa một con số cố định mà chưa nhìn sản phẩm của bạn thì nên hỏi thêm. Số ảnh cần phụ thuộc vào độ khó của lỗi, độ biến đổi của sản phẩm và kiểu mô hình. Một lỗi thiếu ốc trên sản phẩm luôn nằm đúng chỗ cần ít ảnh hơn nhiều so với vết nứt chân chim trên men gốm có vân khác nhau từng chiếc.
Cách làm thực tế là đi theo vòng lặp: chụp một bộ ban đầu, huấn luyện, đo trên bộ ảnh kiểm thử riêng, xem mô hình sai ở loại lỗi nào, rồi chụp thêm đúng loại đó. Ví dụ giả định: một xưởng bao bì giấy bắt đầu với vài nghìn ảnh hộp đạt và khoảng một trăm ảnh cho mỗi trong ba loại lỗi chính. Sau vòng đầu, mô hình bắt tốt lỗi rách góc nhưng hay bỏ sót lỗi bong keo, nên vòng sau tổ QC tập trung gom thêm ảnh bong keo.
Với lỗi hiếm, gom đủ ảnh có khi mất nhiều tháng. Trong thời gian đó, hướng phát hiện bất thường, tức là học từ hàng đạt và đánh dấu mọi thứ khác lạ, giúp trạm chạy được sớm. Mỗi chiếc bị đánh dấu được người xem và gắn nhãn, nên kho ảnh lỗi tự lớn lên theo thời gian chạy. Cân bằng cũng quan trọng: nếu chín mươi chín phần trăm ảnh là hàng đạt, hãy hỏi nhà cung cấp phần mềm xử lý mất cân bằng thế nào.
Quy ước gắn nhãn để ba người gắn như một
Viết quy ước bằng ảnh, không chỉ bằng lời. Mỗi loại lỗi trong sổ tay có ít nhất một ảnh đạt sát ranh giới và một ảnh không đạt sát ranh giới, chụp trên chính trạm. Người gắn nhãn so với ảnh đó, không so với trí nhớ.
Khoanh vùng sát lỗi. Nếu phần mềm yêu cầu khoanh vùng, khung phải ôm sát vết lỗi. Khung quá rộng bao cả vùng sạch xung quanh làm mô hình học nhầm rằng vùng sạch cũng là lỗi.
Có nhãn "không chắc". Cho phép người gắn đánh dấu ảnh mà họ không quyết được. Những ảnh này được trưởng QC xem riêng. Ép người gắn chọn bừa đạt hoặc lỗi là đưa nhiễu vào dữ liệu.
Gắn chéo một phần. Lấy ngẫu nhiên một phần nhỏ ảnh cho hai người gắn độc lập rồi so. Chỗ nào hai người khác nhau là chỗ sổ tay chưa rõ, cần bổ sung ảnh ranh giới.
Ghi tên người gắn và ngày gắn. Khi phát hiện một loạt nhãn sai, bạn biết phải xem lại những ảnh nào mà không phải gắn lại toàn bộ.
Chia ảnh huấn luyện, kiểm định và kiểm thử cho trung thực
Bộ ảnh thường được chia ba phần. Cách chia sai làm con số đánh giá đẹp trên giấy nhưng trạm chạy thật lại kém.
| Phần | Dùng để | Lưu ý khi chia |
|---|---|---|
| Huấn luyện | Mô hình học từ đây | Phần lớn nhất, gồm đủ các loại lỗi và các lô nguyên liệu |
| Kiểm định | Chỉnh thông số và chọn ngưỡng trong lúc huấn luyện | Không trùng sản phẩm với phần huấn luyện |
| Kiểm thử | Đo kết quả cuối cùng, chỉ dùng một lần cho mỗi phiên bản mô hình | Nên lấy từ ngày, ca, lô khác hẳn với hai phần kia |
Lỗi hay gặp nhất là cùng một chiếc sản phẩm chụp năm lần, ba ảnh vào phần huấn luyện, hai ảnh vào phần kiểm thử. Mô hình đã thấy chiếc đó nên nhận ra dễ dàng, con số đo bị thổi phồng. Vì vậy mới cần ghi số thứ tự từng chiếc vào tên tệp: chia theo chiếc sản phẩm, không chia theo từng ảnh.
Nên giữ một bộ kiểm thử cố định qua nhiều tháng để so các phiên bản mô hình với nhau trên cùng một thước đo. Khi bổ sung loại lỗi mới, thêm vào bộ kiểm thử nhưng ghi rõ ngày thêm.
Dùng chatbot hỗ trợ việc soạn sổ tay và rà nhãn
Chatbot phổ thông không gắn nhãn ảnh thay bạn trong một quy trình nghiêm túc, nhưng giúp được nhiều việc giấy tờ xung quanh. Mấy cách dùng thực tế:
- Soạn khung sổ tay lỗi: "Lập bảng sổ tay lỗi ngoại quan cho sản phẩm hộp giấy carton in offset, gồm cột tên lỗi, mô tả, nguyên nhân thường gặp, mức nghiêm trọng, cách phân biệt với lỗi gần giống. Đưa ra khoảng mười loại lỗi phổ biến." Sau đó tổ QC sửa theo thực tế xưởng.
- Gom tên lỗi đang bị gọi lộn xộn: dán danh sách các tên lỗi mà công nhân ghi trong sổ, nhờ chatbot gợi ý gom thành nhóm. Người quyết định cuối cùng vẫn là trưởng QC.
- Soạn hướng dẫn gắn nhãn cho người mới: đưa sổ tay đã duyệt vào và nhờ viết thành hướng dẫn từng bước dễ hiểu.
- Đọc bảng so nhãn chéo: dán bảng tính hai người gắn khác nhau ở đâu, nhờ thống kê loại lỗi nào bất đồng nhiều nhất.
- Trước khi dán, bỏ tên khách hàng, mã hàng của khách, bản vẽ và thông số kỹ thuật riêng. Với hàng gia công có điều khoản bảo mật, không tải ảnh sản phẩm lên chatbot phổ thông.
Lưu ý: chatbot có thể mô tả nguyên nhân lỗi nghe rất hợp lý nhưng không đúng với máy và vật liệu của bạn. Cột nguyên nhân trong sổ tay phải được người có kinh nghiệm xác nhận.
Giữ kho ảnh sống theo thời gian
Kho ảnh không phải làm một lần là xong. Nhà cung cấp nguyên liệu đổi, khuôn mòn, sản phẩm thêm mẫu mới, đèn thay bóng, tất cả đều làm ảnh trên dây chuyền khác dần so với ảnh lúc huấn luyện. Người làm AI gọi đây là dữ liệu trôi. Dấu hiệu thường thấy là tỉ lệ loại tăng dần mà tổ QC xem lại thấy phần lớn là hàng đạt, hoặc khách bắt đầu phàn nàn về một lỗi trước đây trạm vẫn bắt.
Cách giữ kho ảnh sống khá đơn giản: mỗi tuần lấy một ít ảnh trạm đã chụp, cả ảnh bị loại và ảnh cho qua, để QC xem và gắn nhãn. Những ảnh mà máy và người bất đồng là ảnh quý nhất để đưa vào lần huấn luyện tiếp theo. Mỗi lần huấn luyện lại, lưu phiên bản mô hình cũ, ghi lại thay đổi, đo trên bộ kiểm thử cố định, và chỉ đưa phiên bản mới vào chạy khi nó không kém hơn ở loại lỗi quan trọng nào.
Cuối cùng, kho ảnh là tài sản của xưởng. Hợp đồng với nhà cung cấp nên ghi rõ xưởng giữ quyền với ảnh và nhãn, có thể xuất ra khi đổi nhà cung cấp, và ảnh không được dùng cho khách hàng khác nếu chưa đồng ý.
Câu hỏi thường gặp
Có thể dùng ảnh chụp bằng điện thoại để huấn luyện camera kiểm lỗi không?
Không nên dùng để huấn luyện. Ảnh điện thoại khác ánh sáng, góc, độ phân giải so với ảnh trạm sẽ chụp khi chạy thật, nên mô hình học xong lại kém trên dây chuyền. Ảnh điện thoại hợp để minh hoạ sổ tay lỗi và trao đổi với nhà cung cấp.
Mẫu giới hạn là gì?
Là sản phẩm thật nằm sát ranh giới đạt và không đạt của một loại lỗi, được người có thẩm quyền ký xác nhận. Mỗi loại lỗi nên có một chiếc vừa đủ đạt và một chiếc vừa đủ không đạt. Đây là căn cứ chung để người gắn nhãn và người QC phán giống nhau.
Lỗi hiếm quá, gom không đủ ảnh thì làm sao?
Dùng hướng phát hiện bất thường học từ hàng đạt để trạm chạy trước, rồi gom ảnh lỗi dần từ những chiếc bị đánh dấu. Song song vẫn giữ kiểm mẫu xác suất bằng người cho loại lỗi hiếm đó cho tới khi mô hình đủ dữ liệu.
Vì sao không được để cùng một sản phẩm vừa ở bộ huấn luyện vừa ở bộ kiểm thử?
Vì mô hình đã thấy sản phẩm đó lúc học nên nhận ra dễ dàng, làm kết quả đo cao hơn thực tế. Chia ảnh theo từng chiếc sản phẩm, và lấy bộ kiểm thử từ ngày, ca, lô khác để con số phản ánh đúng lúc chạy thật.
Ai nên là người gắn nhãn ảnh lỗi?
Người QC hiểu sản phẩm và tiêu chuẩn của khách, không phải người ngoài thuê theo giờ không biết sản phẩm. Cần có quy ước bằng ảnh, nhãn không chắc cho trường hợp khó, và gắn chéo một phần để phát hiện chỗ hiểu khác nhau.
Bao lâu thì nên huấn luyện lại mô hình?
Không theo lịch cố định mà theo dấu hiệu: tỉ lệ loại đổi bất thường, khách phàn nàn lỗi trước đây vẫn bắt được, đổi nguyên liệu, thêm mẫu sản phẩm, đổi đèn. Mỗi lần huấn luyện lại phải đo trên bộ kiểm thử cố định và giữ phiên bản cũ để quay lại được.