Bỏ qua tới nội dung
0968 86 41 40
  1. Trang chủ
  2. Bài viết
  3. Kết nối thông minh
  4. VEGA-320-01A1: đưa mô hình AI xuống chạy tại chỗ
Kết nối thông minh

VEGA-320-01A1: đưa mô hình AI xuống chạy tại chỗ

14/04/2022· 7 phút đọc · 1633 từ· Chuyên mục Kết nối thông minh

VEGA-320-01A1 là mô-đun tăng tốc suy luận của Advantech dùng chip thị giác Intel Movidius Myriad X. Bài viết nêu điều kiện phần mềm và các bước đưa mô hình xuống mô-đun.

VEGA-320-01A1: đưa mô hình AI xuống chạy tại chỗ

VEGA-320-01A1 là mô-đun tăng tốc suy luận của Advantech, dùng chip thị giác Intel Movidius Myriad X để chạy phần nhận dạng ngay trên máy đặt tại hiện trường. Mô-đun không thay thế vi xử lý chính, nó gánh riêng phần chạy mô hình đã huấn luyện. Bài viết đi vào phần hay bị bỏ qua nhất khi lập kế hoạch: điều kiện phần mềm để mô-đun chạy được và trình tự đưa một mô hình từ máy huấn luyện xuống thiết bị ngoài xưởng.

Mô-đun tăng tốc Edge AI Advantech VEGA-320-01A1
VEGA-320-01A1 gánh phần chạy mô hình đã huấn luyện cho máy biên

Ba cách chạy phần nhận dạng và chỗ đứng của mô-đun

Cùng một bài toán đếm sản phẩm hoặc phát hiện lỗi bề mặt, có ba cách bố trí phần tính toán. Bảng dưới so ba cách theo những tiêu chí quyết định trong dự án thật.

Cách bố tríĐộ trễ từ lúc chụp tới lúc có kết quảĐiện năng và không gianHợp với tình huống nào
Gửi ảnh lên hạ tầng đám mâyPhụ thuộc đường truyền, thường vài trăm mili giây trở lênKhông tốn chỗ tại xưởng, tốn chi phí đường truyền hằng thángKiểm tra không cần phản hồi tức thì, số ảnh ít
Cắm card đồ hoạ rời vào máy công nghiệpThấp, xử lý tại chỗTốn điện và toả nhiệt nhiều, cần thân máy đủ rộng và có quạtTrạm đặt trong phòng điều khiển có điều hoà, tải xử lý lớn
Lắp mô-đun tăng tốc như VEGA-320-01A1Thấp, xử lý tại chỗĐiện năng thấp, kích thước nhỏ, giữ được thiết kế không quạtTrạm đặt trong tủ điện ngoài xưởng, cần chạy liên tục

Điểm mấu chốt nằm ở cột thứ ba. Một trạm kiểm tra đặt ngay cạnh chuyền không có chỗ cho máy trạm có quạt, và bụi trong xưởng làm quạt hỏng nhanh. Mô-đun tăng tốc tồn tại để giữ được thiết kế gọn và không quạt mà vẫn chạy được mô hình.

Thông số VEGA-320-01A1 theo tài liệu hãng

Mã này không nằm trong danh sách hàng dựng sẵn trên site, nên bảng dưới lấy theo số liệu đã công bố. Ô nào chưa có số liệu chắc chắn thì ghi rõ là theo tài liệu hãng.

Hạng mụcThông số công bố
Chip xử lýIntel Movidius Myriad X
Việc đảm nhậnChạy phần suy luận của mô hình đã huấn luyện
Hệ điều hành hỗ trợWindows 10 Enterprise 64 bit, Ubuntu 16.04.3 LTS 64 bit, CentOS 7.4 64 bit
Nhiệt độ làm việcÂm 20 đến 60 độ C, kèm điều kiện luồng gió 0,7 mét mỗi giây
Cách làm mátKhông dùng quạt riêng, toả nhiệt qua kết cấu máy
Điện năngMức thấp theo tài liệu hãng
Khả năng mở rộngChạy suy luận cho nhiều luồng video theo tài liệu hãng
Dạng lắp và khe cắmTheo tài liệu hãng cho từng dòng máy

Ba dòng đầu bảng đáng đọc kỹ hơn phần còn lại. Dòng thứ hai nói rõ mô-đun không dùng để huấn luyện mô hình. Dòng thứ ba là danh sách hệ điều hành, và đây là chỗ nhiều dự án vấp phải.

Điều kiện phần mềm phải kiểm trước khi đặt hàng

Một mô-đun tăng tốc không cắm vào là chạy. Bốn hạng mục phần mềm phải khớp thì phần cứng mới phát huy tác dụng.

Hạng mục thứ nhất là hệ điều hành. Danh sách công bố gồm một bản Windows và hai bản Linux, đều là các bản khá cũ theo mốc thời gian hiện nay. Máy đang chạy bản mới hơn phải kiểm tra trình điều khiển trước khi đặt hàng, không nên giả định là tương thích.

Hạng mục thứ hai là bộ công cụ tối ưu mô hình. Mô hình huấn luyện bằng thư viện thông dụng phải qua một bước chuyển đổi sang dạng mà chip thị giác đọc được. Bước này có thể làm rơi một vài lớp mạng không được hỗ trợ, khi đó phải sửa kiến trúc mô hình chứ không phải sửa phần cứng.

Hạng mục thứ ba là chương trình ứng dụng đọc kết quả. Phần đọc camera, gọi mô hình và trả tín hiệu cho bộ điều khiển phải được viết lại theo giao diện lập trình của bộ công cụ. Nếu đội phát triển đang dùng một thư viện khác, phần việc này phải nằm trong kế hoạch.

Hạng mục thứ tư là điều kiện nhiệt. Dải âm 20 đến 60 độ C đi kèm điều kiện luồng gió 0,7 mét mỗi giây. Tủ kín không có đối lưu thì con số này không còn đúng, phải tính thêm quạt hút hoặc đổi vị trí lắp.

Mô-đun VEGA-320-01A1 lắp trong máy biên chạy suy luận thị giác
Điều kiện phần mềm và điều kiện nhiệt phải kiểm trước khi đặt hàng

Năm bước đưa mô hình đã huấn luyện xuống mô-đun

  1. Chốt bài toán và ngưỡng chấp nhận. Ghi rõ tỷ lệ phát hiện đúng tối thiểu và thời gian xử lý tối đa cho một khung hình. Không có hai con số này thì không có căn cứ nghiệm thu.
  2. Huấn luyện trên máy có card đồ hoạ. Phần huấn luyện vẫn làm ở phòng kỹ thuật, mô-đun chỉ chạy phần suy luận.
  3. Chuyển đổi và tối ưu mô hình. Chạy bộ công cụ chuyển mô hình sang dạng chip đọc được, ghi lại các lớp mạng bị cảnh báo trong quá trình chuyển.
  4. Đo lại độ chính xác sau khi chuyển. Chạy trên đúng tập ảnh kiểm tra đã dùng trước đó và so hai con số. Chênh lệch nhỏ thường chấp nhận được, chênh lệch lớn phải xem lại bước tối ưu.
  5. Chạy thử tại vị trí thật. Ánh sáng ngoài xưởng, độ rung và bụi làm kết quả khác hẳn so với phòng thí nghiệm. Giai đoạn này nên kéo dài ít nhất một tuần, chạy đủ các ca.

Ba con số phải ghi vào biên bản nghiệm thu

Con số thứ nhất là số khung hình xử lý được mỗi giây, đo với đúng camera và đúng mô hình sẽ dùng. Đây là căn cứ duy nhất để biết một mô-đun có đủ hay phải lắp thêm.

Con số thứ hai là nhiệt độ đo tại vỏ máy sau bốn giờ chạy liên tục vào giờ nóng nhất trong ngày. So với dải công bố để biết còn bao nhiêu biên độ dự phòng.

Con số thứ ba là tỷ lệ phát hiện đúng trên dữ liệu thật tại xưởng, không phải trên tập ảnh mẫu. Ba con số này ghi vào biên bản sẽ tránh được phần lớn tranh cãi về sau, và cũng là dữ liệu để tính quy mô khi mở rộng sang chuyền thứ hai.

Chọn thiết bị chạy suy luận tại chỗ

Trước hết phải xác định máy nào sẽ nhận mô-đun, vì khe cắm và điều kiện toả nhiệt khác nhau theo từng dòng. Các hộp suy luận biên có sẵn phần tăng tốc trong máy như EI-A100-S61A1 hoặc AIR-101-S62A1 là hướng gọn hơn khi dựng mới, còn mô-đun rời hợp với trường hợp bổ sung khả năng xử lý cho máy đang chạy.

Các mô-đun cùng họ có bài riêng trên site: bản lắp qua khe mini PCIe nằm ở mô-đun VEGA-230, còn bản dành cho trạm nhiều luồng camera nằm ở mô-đun VEGA-330-02A1. Các bài cùng nhóm chủ đề nằm ở chuyên mục kết nối thông minh.

Khi hỏi báo giá, nên gửi kèm bốn thông tin: model máy sẽ lắp mô-đun, hệ điều hành đang chạy trên máy đó, số luồng camera cùng độ phân giải, và điều kiện nhiệt tại vị trí đặt. Phần đối chiếu với các dòng máy nhúng khác của hãng nằm ở chuyên mục máy tính nhúng Advantech trên IPC247. Nếu chưa chốt được nên lắp mô-đun rời hay mua thẳng một hộp suy luận biên, có thể chạy công cụ chọn máy theo yêu cầu lắp đặt rồi gửi kết quả kèm mô tả bài toán.

Câu hỏi thường gặp về VEGA-320-01A1

VEGA-320-01A1 dùng chip xử lý gì?

Mô-đun dùng chip thị giác Intel Movidius Myriad X. Đây là loại chip chuyên chạy phần suy luận của mô hình đã huấn luyện, không dùng để huấn luyện mô hình và không thay thế vi xử lý chính của máy.

Mô-đun chạy trên hệ điều hành nào?

Theo tài liệu hãng, mô-đun hỗ trợ Windows 10 Enterprise bản 64 bit, Ubuntu 16.04.3 LTS bản 64 bit và CentOS 7.4 bản 64 bit. Máy đang chạy bản khác phải kiểm tra trình điều khiển trước, đây là hạng mục hay bị bỏ sót khi lập kế hoạch.

Có phải huấn luyện lại mô hình khi chuyển sang mô-đun không?

Không phải huấn luyện lại. Mô hình đã huấn luyện được chuyển đổi và tối ưu bằng bộ công cụ tương ứng rồi mới nạp xuống mô-đun. Tuy vậy vẫn phải đo lại độ chính xác sau khi chuyển đổi, vì bước tối ưu có thể làm kết quả lệch đôi chút.

Mô-đun chịu được nhiệt độ tới đâu?

Theo tài liệu hãng, dải nhiệt làm việc là âm 20 đến 60 độ C với luồng gió 0,7 mét mỗi giây. Con số luồng gió là điều kiện kèm theo, nên tủ kín không có đối lưu phải tính thêm quạt hút hoặc bố trí lại vị trí lắp.

Một mô-đun kham được bao nhiêu luồng video?

Không có con số chung, vì phụ thuộc độ phân giải, tốc độ khung hình và độ nặng của mô hình. Cách làm đúng là chạy thử với đúng camera và đúng mô hình sẽ dùng, đo số khung hình xử lý được mỗi giây rồi mới chốt số mô-đun.

Đọc thêm về thiết bị: toàn bộ máy tính công nghiệp Advantech cùng các hãng khác trên ipc247.com.