Giải pháp tính toán hiệu năng cao HPC – High performance computing
Tổng quan
Những tiến bộ công nghệ trong thời đại gần đây như trí tuệ nhân tạo, phân tích dữ liệu lớn và máy học đã dẫn đến nhu cầu ngày càng tăng về sức mạnh tính toán. Một giải pháp tiên tiến có khả năng theo kịp nhu cầu tính toán ngày nay sẽ mang lại cho khách hàng một lợi thế cạnh tranh lớn hơn. Với cấu hình đa dạng và linh hoạt, chúng tôi cung cấp các thiết kế giải pháp tùy chỉnh đáp ứng và vượt qua cả những thách thức khó khăn nhất trong thiết kế và triển khai HPC.
Các chuyên gia tư vấn giải pháp của Taknet Systems luôn đảm bảo rằng khách hàng luôn được hưởng lợi từ các công nghệ mới nhất và tốt nhất. Sự linh hoạt trong cấu hình từ các dòng máy chủ hiệu suất cao, thiết bị lưu trữ dữ liệu hay các thiết bị kết nối tốc độ cao cho phép các kỹ sư của Taknet Systems thiết kế ra những giải pháp phù hợp nhất theo yêu cầu của khách hàng. Kết hợp với năng lực của nhà sản xuất, chúng tôi luôn tích cực đổi mới trong việc xây dựng các giải pháp HPC từ thiết kế đến triển khai, song song với tối ưu hóa mọi khía cạnh của từng giải pháp.
Taknet Systems cung cấp một giải pháp trọn gói: tính toán các ứng dụng lưu trữ chuyên sâu, thông lượng cao hoặc dung lượng cao được sử dụng trong các ngành công nghiệp khác nhau. Các hệ thống HPC của Taknet Systems có thể được đóng gói với nhiều nền tảng nguồn mở và các ứng dụng thương mại, làm cho nó trở thành một giải pháp chìa khóa trao tay thực sự.
Những điểm nổi bật
- Phần cứng đầu tiên trên thị trường: Với việc hợp tác với Supermicro, hãng sản xuất luôn tung ra những cấu hình mới nhất và đầu tiên trên thị trường, Taknet luôn đảm bảo khách hàng được tư vấn sản phẩm với công nghệ mới và tiên tiến nhất.
- Tối ưu triển khai: Với cấu hình mạnh mẽ và được thiết kế tối ưu về mặt không gian, các giải pháp HPC của Taknet luôn giúp tiết kiệm không gian triển khai mà không giảm năng lực của hệ thống.
- Linh hoạt: Thiết kế hệ thống linh hoạt và mềm dẻo với máy chủ tập trung, bộ chuyển mạch tốc độ cao và hệ thống làm mát tiên tiến.
- Hiệu quả về sử dụng năng lượng: Sử dụng nguồn tiêu chuẩn cao và hệ thống làm mát tối ưu giúp giảm chi phí về điện năng tiêu thụ.
- Tiết kiệm chi phí: Cấu hình đa dạng được xây dựng phù hợp theo yêu cầu về tài chính của khách hàng
Kiến trúc hệ thống HPC (Tham khảo)
1. HPC – High Performance Computing FatTwin with Omni-Path.
Hệ thống HPC RA dưới đây được xây dựng dựa trên kiến trúc máy chủ FatTwin và bộ chuyển mạch Supermicro Omni-Patch theo mô hình Fat Tree. Thiết kế này giúp hệ thống đạt được năng lực tính toán nhiều Petaaflops với dung lượng bộ nhớ trong lớn. Hệ thống này có thể đáp ứng được phần lớn các tác vụ HPC. Hệ thống FatTwin có khả năng tính toán mạnh mẽ với thiết kế tối ưu về không gian triển khai, dung lượng lưu trữ và mức tiêu thụ điện năng.
Năng lực tính toán:
- Hệ thống: SYS-F619P2-RT (4U 8Nodes)
- CPU: Dual Intel Xeon Scalable Processors, up to 56 Cores/ Node (3584 cores/ 42U Rack)
- Bộ nhớ trong: Lên tới 1.5TB ECC 3DS LRDIMM, 1.5TB ECC RDIMM, DDR4 up to 2666MHz
- Khả năng mở rộng linh hoạt: 64 Compute Nodes trên 42U-Rack, bộ chuyển mạch tốc độ cao 48ports 1U hỗ trợ lên tới 1,536 compute nodes.
Kết nối mạng:
- Bộ chuyển mạch: Intel 100G 48-port Omni-Path TOR switch with management card. High switching capacity of 9.6 Tb/s total fabric bandwidth
- L 2/3 Switch: 1/10 Gb Ethernet Superswitch, 48 x 1 Gbps and 4 x SPF+ 10 Gbps Ethernet ports
- Cost Efficiency: The FatTwin architecture makes each HPC cluster extremely cost-efficient!
Hệ thống làm mát:
RDHx (rear Door Heat Exchangers) năng lực làm mát lên tới 75kW trên mỗi rack
2. Kiến trúc tham khảo – TwinPro và kết nối Dragonfly/InfiniBand
Thiết kế này tận dụng tốc độ và năng lực tính toán của TwinPro với kết nối Mellanox Infiniband theo kiểu kết nối dragonfly topology. Kiến trúc kết nối dragonfly topology tối ưu kết nối mạng mà vẫn đảm bảo băng thông cực đại cho phép hệ thống MPI hoạt động ở mức độ cao nhất.
Năng lực tính toán:
- Hệ thống: SYS-2028TP-HTR (2U 4Nodes, total 64 Nodes/ 42U Rack)
- CPU: Intel Xeon Processor E5-2600 v4/v3 family, Up to 44 cores/node (2,816 cores per 42U Rack)
- Bộ nhớ trong: Up to 2TB† ECC 3DS LRDIMM, 512GB ECC RDIMM, and 64 GB DDR4 LRDIMM-2666.
Kết nối mạng:
- Bộ chuyển mạch: Mellanox InfiniBand FDR/ EDR/HDR, 1 U Switch, 36 QSFP28 ports
- Băng thông cực lớn: Kiến trúc Dragonfly cùng với bộ chuyển mạch InfiniBand đảm bảo độ trễ thấp và hiệu quả cao.
Hệ thống làm mát:
Highly efficient DCLC (Direct Contact Liquid Cooling) khả năng làm mát lên tới 35kW+ trên mỗi rack
Giải pháp chìa khóa trao tay HPC cho AI
HPC luôn có những liên hệ mật thiết với AI do khả năng tính toán mạnh mẽ và luôn đòi hỏi độ chính xác cao. Sự liên kết giữa HPC và AI ngày càng lớn do AI luôn đòi hỏi khả năng tính toán mạnh mẽ và mở rộng linh hoạt theo nhu cầu.
Compute Power:
- System: SYS-4029GP-TVRT (Supermicro Super Server, 4U 8 GPU)
- GPU: 8x Nvidia Tesla V100 SXM2(16GB) MAX: Up to 32GB
- NVLINK: High-speed interconnect 300GB/s per GPU
- Memory: DDR4-2666 32GB, total 384GB
- CPU: Intel Xeon Gold 6154 CPU @ 3.00GHz
Solution SKU:
- SRS-14UGPU-AIV1-01: 14U Rack, 2 x 4U GPU server with 16 V100
- SRS-24UGPU-AIV1-01: 24U Rack, 4 x 4U GPU server with 32 V100
Networking:
- InfiniBand Switch: (Mellanox InfiniBand FDR/ EDR/HDR, 1 U Switch, 36 QSFP28 ports)
- L 2/3 Switch: SSE-G3648BR (1/10 Gb Ethernet Superswitch). 48 x 1 Gbps and 4 x SPF+ 10 Gbps Ethernet ports
AI Benchmarks:
Supermicro HPC team has accomplished remarkable results in benchmarking AI performance. The performance of Supermicro AI appliances have been evaluated using various and widely used Deep Learning algorithms such as VGG, Inception V3, ResNet 50 etc. Most of the times, our appliances have outperformed the popular and current choices of AI clusters that are available in the market. For example, the following TensorFlow benchmark (using ResNet 50) shows successful processing of almost 18000 images per second.
Nhóm Supermicro HPC đã đạt được kết quả đáng chú ý trong việc đánh giá hiệu năng AI. Hiệu năng của các thiết bị AI của Supermicro đã được đánh giá bằng các thuật toán Deep Learning khác nhau và được sử dụng rộng rãi như VGG, Inception V3, ResNet 50, v.v. Hầu hết, các thử nghiệm đều cho kết quả vượt trội so với các lựa chọn phổ biến và hiện tại của các cụm AI có sẵn trên thị trường. Ví dụ: điểm chuẩn TensorFlow sau (sử dụng ResNet 50) cho thấy xử lý thành công gần 18000 hình ảnh mỗi giây.
TensorFlow Benchmark
Nhóm HPC của Supermicro cũng thử so sánh hiệu năng các thiết bị chuyên dụng cho AI với các nhà sản xuất phần cứng hàng đầu thế giới và kết quả cho thấy thiết bị của chúng tôi ấn tượng và cho kết quả tốt hơn. Ví dụ: điểm chuẩn Caffe2 sau đây (sử dụng ResNet 50) cho thấy giải pháp cụm AI của Supermicro có thể xử lý nhiều hình ảnh hơn mỗi giây so với Facebook:
Caffe2 Benchmark
Turnkey HPC appliance for ANSYS:
Bộ phần mềm Ansys cung cấp một nền tảng tiêu chuẩn cho các kỹ sư thiết kế và chạy mô phỏng một cách hiệu quả. Supermicro đã hợp tác với Ansys để cung cấp phần cứng được thiết kế riêng cho ứng dụng Ansys để có được hiệu suất tối ưu từ các sản phẩm của Ansys. Với Giải pháp Ansys của Supermicro, thời gian quay vòng giữa thiết kế, chạy và xem kết quả mô phỏng được giảm đáng kể, điều này sẽ cho phép các nhóm kỹ thuật đẩy nhanh quá trình phát triển.
Giải pháp Supermicro Ansys được thiết kế để sử dụng hiệu quả bộ phần mềm Ansys và có một số tùy chọn khác nhau. Các tính năng phần cứng bao gồm:
- CPU thế hệ mới nhất cho sức mạnh tính toán tối đa
- Bộ nhớ lớn cho phép xử lý dung lượng dữ liệu ngày càng lớn
- Ổ SSD / NVMe để lưu trữ nhanh chóng và hiệu quả
- Mạng cao cấp để đồng bộ hóa liền mạch ở cấp cụm
- GPU cho tính toán toán học phức tạp
- Ngăn xếp phần cứng / phần mềm tích hợp đầy đủ cho plug-and-play
- Dễ triển khai và quản trị hệ thống
Giải pháp HPC Storage
IBM Spectrum Scale
Spectrum Scale cung cấp một trung tâm dữ liệu với nền tảng lưu trữ linh hoạt cho phép người dùng cuối truy cập vào lượng dữ liệu khổng lồ với tốc độ cực cao. Hiệu suất của Scale nằm chính ở hệ thống phân cấp lưu trữ được xếp theo thứ tự ưu tiên dữ liệu sử dụng thường xuyên cho các tầng lưu trữ nhanh nhất trong khi duy trì phần còn lại của dữ liệu trên các thiết bị lưu trữ hiệu quả hơn để truy cập theo yêu cầu. Các quy tắc lưu trữ thông minh của IBM Spectrum Scale cho phép người dùng tùy chỉnh việc sử dụng phần cứng của họ tùy theo nhu cầu.
Supermicro cung cấp các giải pháp Spectrum Scale cho các ứng dụng HPC.
Lustre File System
Luster là một hệ thống tệp song song cung cấp tốc độ cần thiết HPC workload từ nhiều petabyte lưu trữ. Luster Solution cho phép hàng ngàn khách hàng truy cập các thiết bị lưu trữ theo yêu cầu. Giải pháp này được thực hiện bằng cách tách rời siêu dữ liệu và dữ liệu trên máy chủ, điều đó có nghĩa là khách hàng có thể thiết kế và điều chỉnh cụm của họ tùy thuộc vào khối lượng công việc mà họ sẽ chạy. Luster đã được thử nghiệm ở một số trung tâm dữ liệu lớn nhất thế giới, trên thực tế, Luster hiện cung cấp 75% cho 100 siêu máy tính hàng đầu trên Trái đất. Supermicro đã kết hợp với Intel và BGI để cung cấp cho các phòng thí nghiệm BGI một hệ thống Luster có khả năng tốc độ 8Gb/giấy.
Nền tảng phần cứng HPC Server Platforms
- TCO tốt nhất với hiệu suất cao nhất trên mỗi watt / mỗi đô la
- FatTwin ™ đại diện cho một cuộc cách mạng trong Điện toán xanh và có hiệu quả cao nhờ thiết kế
- Hệ thống này hỗ trợ các ứng dụng quan trọng của khách hàng đồng thời giảm TCO của rung tâm dữ liệu để giúp bảo vệ môi trường và mở rộng khả năng tính toán và lưu trữ
- Do các thành phần được chia sẻ, FatTwin ™ cải thiện hiệu quả và độ tin cậy về chi phí, trong khi kiến trúc mô đun của nó giúp linh hoạt cấu hình và dễ bảo trì
- Công nghệ Twin cung cấp thông lượng, lưu trữ, kết nối mạng, I / O, bộ nhớ và khả năng xử lý đặc biệt
- Hiệu suất, tính linh hoạt, hiệu quả
- Lợi thế cạnh tranh cho môi trường doanh nghiệp cao cấp, HPC và điện toán đám mây
- Được thiết kế cho HPC, AI, Phân tích dữ liệu lớn, Vật lý thiên văn, Kinh doanh thông minh
- Hỗ trợ GPU Tesla V100 mới nhất
- Hiệu suất, tính linh hoạt, hiệu quả
- Tùy chọn DCLC
- Ultra Super Servers are designed to deliver the highest performance, flexibility, scalability and serviceability to demanding IT environments, and to power mission-critical Enterprise workloads
- Phù hợp hoàn hảo cho khối lượng công việc và ứng dụng đa dạng và có thể dễ dàng cấu hình lại cho nhiều ứng dụng Trung tâm dữ liệu và doanh nghiệp trong Ảo hóa, Dữ liệu lớn, Phân tích và Điện toán đám mây
- Mật độ tối đa, chi phí đầu tư thấp, giảm chi phí quản lý, ROI tối ưu và khả năng mở rộng cao
- Hỗ trợ bộ xử lý có thể mở rộng lên đến 205W TDP Intel® Xeon®
- Máy chủ phiến UP, DP và 4-way
- Hỗ trợ hot-swap U.2 NVMe, tối đa 8 ổ trên mỗi máy chủ phiến
- 100G EDR InfiniBand, 100G Intel® Omni-Path và Ethernet 25G / 10G / 1G
- Bộ nguồn AC / DC dự phòng
- Các mô-đun Pin dự phòng (BBP®)
- Các API RESTful của Supermicro RSD và Redfish
HPC Fabric (Omni-Path, InfiniBand)
Supermicro Omni-path (OPA)
Công nghệ Omni-Path của Intel là thế hệ mạng tiếp theo với độ trễ thấp và thông lượng cao.
Mellanox InfiniBand (IB)
Bộ chuyển mạch Mellanox’s InfiniBand là một lựa chọn tuyệt vời khác khi kết nối tốc độ cao cho HPC. HPC yêu cầu độ trễ thấp và thông lượng cao trong mạng và đó chính xác là những gì InfiniBand cung cấp.
Các nền tảng máy chủ Supermicro HPC cung cấp được tích hợp sẵn Mellanox EDR hoặc FDR adapter hoặc SIOM tùy chọn.
Công nghệ làm mát
Hệ thống làm mát bằng chất lỏng, công nghệ làm mát tiên tiến nhất để triển khai cho HPC. Ngày nay, khi số lượng máy chủ tiếp tục tăng lên và việc sử dụng năng lượng tăng theo cấp số nhân, làm mát bằng chất lỏng vẫn là giải pháp làm mát hiệu quả nhất. Nó cho phép triển khai phần cứng mật độ cao và tăng hiệu quả sử dụng điện năng. Làm mát bằng không khí cưỡng bức đã vượt xa hiệu quả của nó, và ngành công nghiệp hiện đang hướng đến việc làm mát bằng nước ấm để khai thác các công nghệ máy chủ thế hệ tiếp theo trong khi giảm mức sử dụng điện.
Trên thực tế, làm mát bằng chất lỏng làm giảm TCO từ 40 đến 50% so với làm mát bằng không khí cưỡng bức. Nó cũng đã được chứng minh là mang lại sự cải thiện gấp mười lần về mật độ máy chủ mà không có sự đánh đổi bất lợi nào. Các lợi ích khác bao gồm giảm thiểu tiếng ồn và không cần phải cung cấp năng lượng cho quạt ở tốc độ tối đa.
Chiller Door – RDHx
RDHx chiller door được thiết kế để hoạt động một cách linh hoạt, lạnh khi hệ thống máy chủ nóng nhưng khi máy chủ đang ở chế độ nghỉ, nó sẽ sử dụng lại lượng làm mát để tiết kiệm năng lượng. Thiết kế này sử dụng công nghệ cảm biến cửa máy làm lạnh, có nhiệm vụ theo dõi nhiệt từ khí thải của giá đỡ và phản ứng tương ứng. Cửa máy làm lạnh là một giải pháp hiệu quả trong việc giữ cho máy chủ luôn lạnh trong khi vẫn tối ưu mức độ sử dụng năng lượng.
Per Node | 1U Ultra Titanium | 1U Ultra Platinum | 1U Server (Comp #1) | 1U Server (Comp #2) |
Power Consumption (Watts) | 445 | 454 | 466 | 477 |
Power Saved by using 1U Ultra Titanium (Watts) | 0 | 9 | 21 | 32 |
TCO Saved over 4 years by using one 1U Ultra Titanium ($) | $0 | $135 | $315 | $480 |
TCO Saved per 10,000 Ultra servers ($M) | * | $1.4M | $3.2M | $4.8M |
Table 3: Ultra Titanium System Power and TCO Savings
Direct Liquid Cooling – DCLC
Làm mát bằng chất lỏng DCLC là giải pháp tiên tiến của chúng tôi trong việc làm mát. Hệ thống làm mát bằng chất lỏng có khả năng điều chỉnh nhiệt độ chung của các bộ phận phần cứng một cách hiệu quả và hiệu quả hơn bất kỳ hệ thống làm lạnh không khí nào. Hệ thống làm mát bằng chất lỏng có thể được cài đặt trong bất kỳ trung tâm dữ liệu nào mà không có thay đổi cơ sở hạ tầng bổ sung và có thể được cài đặt trong cùng rack với các máy chủ làm mát bằng không khí. Hệ thống làm mát bằng chất lỏng cho phép CPU / GPU chạy ở công suất tối đa và sử dụng hệ thống bơm dự phòng, áp suất thấp để giữ cho thiết bị của bạn lạnh đáng tin cậy.