Máy chủ GPU là máy chủ gắn một hoặc nhiều bộ xử lý đồ hoạ để chạy các phép tính song song của trí tuệ nhân tạo và tính toán hiệu năng cao. Với một nhà máy, câu hỏi thực tế không phải là card nào mạnh nhất, mà là loại tải nào cần tới máy chủ GPU, tủ rack cấp được bao nhiêu điện, phòng máy thải được bao nhiêu nhiệt, và phần nào nên chạy ngay tại chuyền thay vì đưa về máy chủ. Bài viết đi theo đúng bốn câu hỏi đó.
Máy chủ GPU khác máy chủ thường ở đâu
Bộ xử lý trung tâm có ít nhân, mỗi nhân mạnh, xử lý tốt các chuỗi lệnh có nhiều rẽ nhánh. Đó là thứ cần cho hệ điều hành, cơ sở dữ liệu và phần mềm quản lý. Bộ xử lý đồ hoạ đi hướng ngược lại: rất nhiều nhân nhỏ chạy cùng lúc, mỗi nhân chỉ làm phép tính đơn giản. Huấn luyện và suy luận mô hình học sâu quy về phép nhân ma trận lặp lại hàng tỷ lần, nên hướng thứ hai nhanh hơn nhiều lần cho cùng một bài toán.
Hệ quả kỹ thuật quan trọng hơn con số tốc độ. Một máy chủ GPU không phải là máy chủ thường cắm thêm card. Nó phải có khe cắm đủ rộng và đủ khoảng hở, bộ nguồn lớn hơn hẳn, đường gió đủ mạnh để card không tự giảm xung vì nóng, và bộ nhớ trên card đủ lớn để nạp trọn mô hình. Bốn điều kiện này quyết định chọn thân máy, chọn tủ rack và chọn vị trí đặt, tức là phần lớn chi phí triển khai.
Ba loại tải trí tuệ nhân tạo trong nhà máy
Phân loại theo tải giúp tránh sai lầm hay gặp nhất: mua cấu hình của một trung tâm dữ liệu để chạy một việc mà một máy biên làm được. Bảng dưới xếp ba loại tải thường thấy trong sản xuất cùng cấu hình tương ứng và điều kiện phòng đặt máy.
| Loại tải | Việc cụ thể trong nhà máy | Cấu hình máy tương ứng | Điều kiện nơi đặt |
|---|---|---|---|
| Suy luận tại chỗ, vài luồng | Kiểm tra ngoại quan một chuyền, đọc mã, giám sát an toàn lao động ở một khu vực | Máy tính công nghiệp có bộ tăng tốc thị giác hoặc một card đồ hoạ đơn, nguồn tính bằng vài trăm oát | Đặt ngay tại chuyền trong tủ có lọc bụi, đường gió theo mức hãng công bố, nguồn lấy từ tủ điện khu vực |
| Suy luận tập trung, nhiều luồng | Gom hàng chục luồng camera của cả xưởng hoặc cả nhà máy về một chỗ để phân tích | Máy chủ vỏ rack với một đến hai card đồ hoạ, nhiều cổng mạng, ổ đĩa cấu hình dự phòng | Phòng máy có điều hoà, tủ rack tiêu chuẩn, bộ lưu điện, đường mạng đủ băng thông từ các khu vực |
| Huấn luyện và huấn luyện lại mô hình | Học lại mẫu lỗi mới sau mỗi lần đổi sản phẩm, xây mô hình dự báo hỏng hóc từ dữ liệu lịch sử | Máy chủ nhiều card đồ hoạ, bộ nhớ lớn, dung lượng lưu trữ cho tập ảnh, nguồn dự phòng | Phòng máy chuyên dụng, tính riêng phần điện và phần thải nhiệt, có kiểm soát ra vào |
Phần lớn nhà máy Việt Nam dừng ở hai hàng đầu. Hàng thứ ba chỉ xuất hiện khi mẫu sản phẩm thay đổi liên tục và bộ ảnh huấn luyện đủ lớn để việc học lại thành công việc định kỳ. Cách phân biệt bài toán thị giác nào cần mức nào được nêu chi tiết trong bài thị giác máy tính trong sản xuất.
Cấp nguồn cho máy chủ GPU
Card đồ hoạ là phần ăn điện lớn nhất trong máy, và phần này thường bị bỏ sót khi lập dự toán vì người ta chỉ nhìn giá thiết bị. Cách tính gồm bốn bước.
- Cộng công suất tối đa của các card. Lấy theo mức công bố của từng card, không lấy mức trung bình khi chạy nhẹ.
- Cộng phần còn lại của máy. Bộ xử lý, bộ nhớ, ổ đĩa, quạt và các mạch phụ.
- Nhân hệ số dự phòng. Khoảng 1,3 lần để chừa dòng khởi động và phần suy giảm của bộ nguồn theo thời gian.
- Kiểm ngược lên hạ tầng. Đường điện tới tủ rack, aptomat nhánh và bộ lưu điện phải gánh được mức đó khi máy chạy đầy tải kéo dài, không chỉ trong vài phút thử.
Hai mốc có thật trên thiết bị đang bán giúp hình dung. Máy tính AI biên AIR-300-00A1 chỉ nhận một card đồ hoạ nhưng đã đi kèm bộ nguồn 850 W tích hợp, và giới hạn chiều dài card là 311 mm. Ở nhánh máy chủ vỏ rack, thân máy HPC-7242 hỗ trợ bộ nguồn đơn hoặc bộ nguồn dự phòng đạt chuẩn 80 Plus tới 700 W. Hai con số này cho thấy phần nguồn của một máy chạy card đồ hoạ nằm ở mức khác hẳn máy trạm văn phòng, và tủ rack cũ trong phòng máy chưa chắc còn dư tải.
Làm mát và thải nhiệt
Toàn bộ điện tiêu thụ cuối cùng thành nhiệt trong phòng. Một máy chạy đầy tải liên tục ở mức 800 W thải ra lượng nhiệt tương đương một thiết bị sưởi nhỏ chạy suốt ngày đêm. Bốn việc cần làm khi bổ sung máy chủ GPU vào phòng máy đang có.
- Tính lại tải lạnh của phòng. Cộng thêm phần nhiệt của máy mới vào tổng tải, đối chiếu với công suất điều hoà đang có, tính cả trường hợp một máy lạnh hỏng.
- Tách luồng gió nóng và gió lạnh. Các máy trong tủ rack phải cùng chiều hút và xả, tránh việc gió nóng của máy này thành gió vào của máy kia. Bịt các khoảng trống trên mặt tủ bằng tấm che.
- Đo nhiệt độ gió vào, không đo nhiệt độ phòng. Con số quyết định là nhiệt độ ngay tại mặt hút của máy, thường cao hơn nhiệt độ trung bình của phòng vài độ.
- Chừa khoảng hở theo tài liệu hãng. Máy có card đồ hoạ cần khoảng hở trước sau lớn hơn máy chủ thường, và cần đường gió đủ mạnh mới đạt được dải nhiệt độ công bố.
Khi cần thêm dung lượng lưu trữ cho tập dữ liệu huấn luyện, thân máy HPC-7442 nhận bo mạch chuẩn EATX, ATX hoặc micro ATX và mở rộng được tới tám khay ổ tháo nóng. Cả hai thân máy HPC đều có quạt tiếp cận được từ mặt trước mà không phải mở nắp, cùng mô-đun quản lý hệ thống điều khiển quạt và theo dõi từ xa. Đây là chi tiết đáng giá khi máy đặt trong phòng máy không có người trực thường xuyên.
Đặt ở phòng máy hay đặt ngay xưởng
Đây là quyết định gây tranh cãi nhiều nhất, và nó có lời giải khá rõ nếu tách bài toán làm hai phần: phần phải trả lời tức thì và phần chạy được theo lô.
Phần phải trả lời tức thì gồm những việc mà kết quả phải có trong vài chục mili giây để kịp phát tín hiệu loại bỏ sản phẩm hoặc dừng máy. Phần này không chịu được độ trễ của đường mạng và không chịu được rủi ro mất kết nối, nên phải chạy tại chỗ bằng máy tính công nghiệp đặt cạnh chuyền. Các dòng máy suy luận biên như AIR-101-S62A1 và AIR-200-S92A1 sinh ra cho phần việc này.
Phần chạy theo lô gồm huấn luyện lại mô hình, tổng hợp thống kê lỗi theo ca và phân tích dữ liệu lịch sử. Phần này chấp nhận được độ trễ vài phút, nên đưa về máy chủ trong phòng máy là hợp lý: điện ổn định, nhiệt độ kiểm soát được, có bộ lưu điện và có kiểm soát ra vào. Đặt máy chủ trần trong xưởng chỉ đổi một khoản tiền mạng lấy một loạt rủi ro về bụi, hơi dầu và nhiệt độ gió vào.
Ví dụ một xưởng cơ khí chính xác
Một xưởng gia công chi tiết kim loại có hai chuyền kiểm tra ngoại quan, mỗi chuyền hai camera, và đổi mẫu chi tiết khoảng mỗi sáu tuần. Cách bố trí phù hợp gồm ba lớp.
Lớp thứ nhất là hai máy suy luận biên đặt tại hai chuyền, mỗi máy xử lý hai luồng ảnh và phát tín hiệu loại bỏ ngay tại chỗ. Lớp thứ hai là một máy chủ trong phòng máy, nhận ảnh của các chi tiết bị đánh dấu nghi ngờ, lưu lại theo ca và chạy phần thống kê. Lớp thứ ba xuất hiện mỗi sáu tuần: khi đổi mẫu, bộ ảnh mới được gán nhãn và mô hình được huấn luyện lại trên chính máy chủ đó vào cuối tuần, rồi đẩy bản mô hình mới xuống hai máy biên.
Cách bố trí này giữ phần thời gian thực ở nơi sinh dữ liệu, giữ phần nặng ở nơi có điện và có lạnh, và không đòi hỏi đường truyền lớn giữa hai nơi vì chỉ ảnh nghi ngờ mới được gửi lên. Nếu đưa toàn bộ bốn luồng video về phòng máy, băng thông và chi phí lưu trữ tăng nhiều lần mà không cải thiện được tỷ lệ phát hiện lỗi.
Chọn thiết bị cho bài toán trí tuệ nhân tạo tại nhà máy
Trình tự nên đi từ tải tới thiết bị, không ngược lại. Đếm số luồng ảnh và tần suất phải chạy lại mô hình trước, xác định thời gian đáp ứng bắt buộc, rồi mới xét tới cấu hình. Sau đó kiểm ba ràng buộc hạ tầng: công suất còn dư của tủ rack, tải lạnh còn dư của phòng máy, và băng thông đường mạng từ khu sản xuất về phòng máy.
Nhóm máy hộp hiệu năng cao của hãng nằm trong danh mục PC không quạt mạnh mẽ, còn thân máy chủ vỏ rack được liệt kê trên trang cửa hàng. Để đối chiếu với các dòng máy tính công nghiệp cùng phân khúc của những hãng khác, xem danh mục máy tính công nghiệp Advantech trên IPC247. Nếu chưa chốt được nên chạy mô hình tại chuyền hay đưa về máy chủ tập trung, có thể chạy công cụ chọn máy theo yêu cầu rồi gửi kết quả kèm đề nghị báo giá.
Câu hỏi thường gặp về máy chủ GPU
Máy chủ GPU khác máy chủ thường ở điểm nào?
Khác ở kiểu tính toán. Bộ xử lý trung tâm làm ít việc một lúc nhưng mỗi việc phức tạp, hợp với hệ điều hành, cơ sở dữ liệu và các logic rẽ nhánh. Bộ xử lý đồ hoạ có rất nhiều nhân nhỏ chạy song song, hợp với phép nhân ma trận lặp lại hàng tỷ lần trong huấn luyện và suy luận mô hình. Vì vậy máy chủ GPU phải kèm bộ nguồn lớn, đường gió mạnh và khe cắm đủ rộng.
Nhà máy quy mô vừa có cần máy chủ GPU riêng không?
Thường là không cần ngay. Nếu chỉ chạy suy luận cho vài camera kiểm tra ngoại quan, một máy tính công nghiệp có bộ tăng tốc thị giác hoặc một card đồ hoạ đơn đã đủ. Máy chủ GPU riêng chỉ hợp lý khi phải huấn luyện lại mô hình thường xuyên, khi số luồng ảnh vượt khả năng của các máy biên, hoặc khi dữ liệu không được ra khỏi nhà máy.
Tính công suất nguồn cho máy chủ GPU thế nào?
Cộng công suất tối đa của các card đồ hoạ, cộng công suất bộ xử lý, ổ đĩa và quạt, rồi nhân hệ số dự phòng khoảng 1,3 để chừa phần dòng khởi động và phần già hoá của bộ nguồn. Sau đó kiểm lại đường điện tới tủ rack, aptomat và bộ lưu điện có gánh được mức đó ở trạng thái đầy tải kéo dài hay không.
Đặt máy chủ GPU ngay trong xưởng được không?
Không nên đặt trần trong xưởng. Máy chủ có quạt hút mạnh, hút cả bụi và hơi dầu, và cần nhiệt độ gió vào ổn định. Nếu bắt buộc đặt gần chuyền, cần tủ có lọc bụi và làm mát riêng, đo nhiệt độ gió vào liên tục. Phương án gọn hơn là đặt máy chủ trong phòng máy, còn phần chạy mô hình theo thời gian thực thì giao cho máy tính công nghiệp đặt tại chuyền.
Nên mua máy chủ GPU hay thuê tài nguyên trên đám mây?
Chọn theo mức sử dụng và ràng buộc dữ liệu. Nếu chỉ huấn luyện vài đợt trong năm và dữ liệu được phép rời nhà máy, thuê theo giờ tiết kiệm hơn và không phải lo phần điện lạnh. Nếu máy chạy gần như liên tục, hoặc dữ liệu hình ảnh sản phẩm và hình ảnh người lao động không được ra ngoài, đặt máy tại chỗ hợp lý hơn.
Đọc thêm về thiết bị: toàn bộ máy tính công nghiệp Advantech cùng các hãng khác trên ipc247.com.
