کارت گرافیک NVIDIA H100 NVL 94GB GPU PCI-E

بررسی کارت گرافیک NVIDIA H100 NVL 94GB PCIe AI Data Center GPU

کارت گرافیک مناسب سرور NVIDIA H100 NVL 94GB PCIe یک شتاب‌دهنده دیتاسنتری مبتنی بر معماری NVIDIA Hopper است که برای استنتاج مدل‌های زبانی بزرگ، هوش مصنوعی مولد، یادگیری عمیق، تحلیل داده و محاسبات HPC طراحی شده است.

این شتاب‌دهنده از 94 گیگابایت حافظه HBM3، هسته‌های Tensor نسل چهارم، فناوری Transformer Engine، رابط PCI Express Gen5 و اتصال پرسرعت NVIDIA NVLink بهره می‌برد و می‌تواند بارهای پردازشی سنگین هوش مصنوعی را با سرعت و پهنای باند بالایی اجرا کند.

NVIDIA H100 NVL برای سازمان‌ها، مراکز داده، مجموعه‌های تحقیقاتی و کسب‌وکارهایی مناسب است که به زیرساختی قدرتمند برای آموزش و استنتاج مدل‌های هوش مصنوعی، پردازش داده‌های حجیم یا محاسبات علمی نیاز دارند.

«پردازنده گرافیکی NVIDIA H100 عملکرد، مقیاس‌پذیری و امنیت بالایی را برای طیف گسترده‌ای از بارهای کاری فراهم می‌کند.»

منبع: NVIDIA

عملکرد و قابلیت‌های NVIDIA H100 NVL 94GB

NVIDIA H100 NVL به‌طور ویژه برای اجرای مدل‌های زبانی بزرگ و بارهای پردازشی هوش مصنوعی در مراکز داده توسعه یافته است. فناوری Transformer Engine با مدیریت خودکار دقت‌های FP8 و FP16، سرعت پردازش مدل‌های هوش مصنوعی را افزایش می‌دهد و در عین حال دقت موردنیاز محاسبات را حفظ می‌کند.

حافظه 94 گیگابایتی HBM3 با پهنای باند نزدیک به 4 ترابایت بر ثانیه، امکان پردازش مدل‌ها و مجموعه‌داده‌های بزرگ را با تأخیر کمتر فراهم می‌کند. این کارت همچنین از دقت‌های محاسباتی FP64 ، FP32 ، TF32 ، FP16 ، BF16 ، FP8 و INT8 پشتیبانی می‌کند.

قابلیت Multi-Instance GPU یا MIG امکان تقسیم کارت به حداکثر هفت نمونه سخت‌افزاری مستقل را فراهم می‌کند. هر نمونه منابع حافظه، کش و هسته‌های پردازشی اختصاصی خود را دارد و می‌تواند برای اجرای هم‌زمان چند بار کاری یا ارائه منابع GPU به چند کاربر استفاده شود.

دو کارت H100 NVL را می‌توان با استفاده از سه پل NVIDIA NVLink به یکدیگر متصل کرد. این پیکربندی در نرم‌افزارهای سازگار، 188 گیگابایت حافظه ترکیبی و پهنای باند ارتباطی دوطرفه تا 600 گیگابایت بر ثانیه را در اختیار زیرساخت قرار می‌دهد.

مشخصات فنی NVIDIA H100 NVL 94GB PCIe

• معماری NVIDIA Hopper با پردازنده GH100
• 94 گیگابایت حافظه HBM3 مجهز به ECC
• هسته‌های Tensor نسل چهارم و فناوری Transformer Engine
• پشتیبانی از دقت‌های FP64، FP32، TF32، FP16، BF16، FP8 و INT8
• رابط PCI Express Gen5 x16
• سازگار با رابط‌های PCIe Gen5 x8 و PCIe Gen4 x16
• پشتیبانی از حداکثر هفت نمونه مستقل Multi-Instance GPU
• پشتیبانی از Secure Boot مبتنی بر CEC
• فرم فاکتور Full Height Full Length با طول 10.5 اینچ
• طراحی دو اسلات
• سیستم خنک‌کننده Passive
• فرکانس پایه GPU برابر با 1080 مگاهرتز
• فرکانس Boost تا 1785 مگاهرتز
• توان مصرفی قابل تنظیم بین 350 تا 400 وات
• حداقل توان قابل تنظیم 200 وات
• یک کانکتور برق کمکی PCIe شانزده پین از نوع 12V-2×6
• پشتیبانی از SR-IOV با حداکثر 32 تابع مجازی
• پشتیبانی از NVIDIA Virtual Compute Server
• پشتیبانی از NVIDIA AI Enterprise در بستر VMware
• پشتیبانی از درایورهای NVIDIA R535 و نسخه‌های جدیدتر در Linux و Windows
• پشتیبانی از CUDA 12.2 و نسخه‌های جدیدتر در معماری x86
• پشتیبانی از NVIDIA-Certified Systems نسخه 2.8 و جدیدتر
• عدم پشتیبانی از UEFI در VBIOS کارت
• وزن برد حدود 1214 گرم، بدون براکت و پل‌های NVLink

مشخصات حافظه HBM3

• نوع حافظه: HBM3
• ظرفیت حافظه: 94 گیگابایت
• پشتیبانی از ECC: دارد
• فرکانس حافظه: 2619 مگاهرتز
• پهنای باس حافظه: 6016 بیت
• حداکثر پهنای باند حافظه: 3938 گیگابایت بر ثانیه

قابلیت NVIDIA NVLink

هر کارت NVIDIA H100 NVL از سه پل NVLink برای اتصال مستقیم به یک کارت H100 NVL دیگر استفاده می‌کند. این اتصال، پهنای باند دوطرفه‌ای تا 600 گیگابایت بر ثانیه فراهم می‌کند و برای پردازش مدل‌هایی که به حافظه یا توان محاسباتی بیشتر از یک GPU نیاز دارند کاربرد دارد.

• اتصال مستقیم دو کارت H100 NVL
• استفاده از سه پل NVIDIA NVLink
• پهنای باند دوطرفه تا 600 گیگابایت بر ثانیه
• مجموع حافظه دو کارت: 188 گیگابایت HBM3
• نیازمند پشتیبانی نرم‌افزار از پردازش چند GPU

توان مصرفی و شرایط خنک‌سازی

NVIDIA H100 NVL از سیستم خنک‌کننده Passive استفاده می‌کند و فن مستقلی روی کارت ندارد. به همین دلیل، نصب آن فقط در سرورها و شاسی‌هایی توصیه می‌شود که جریان هوای کافی و کنترل‌شده برای خنک‌کردن شتاب‌دهنده‌های دیتاسنتری فراهم می‌کنند.

• حداکثر توان پیش‌فرض: 400 وات در حالت کابل برق 450 یا 600 وات
• حداکثر توان پیش‌فرض: 310 وات در حالت کابل برق 300 وات
• حداقل توان قابل تنظیم: 200 وات
• دمای محیط کاری استاندارد: صفر تا 50 درجه سانتی‌گراد
• دمای محیط کاری کوتاه‌مدت: منفی 5 تا 55 درجه سانتی‌گراد
• پشتیبانی از جریان هوا در هر دو جهت داخل شاسی

سازگاری NVIDIA H100 NVL با سرور

وجود اسلات PCIe x16 به‌تنهایی برای نصب NVIDIA H100 NVL کافی نیست. سرور باید از کارت‌های FHFL دو اسلات، توان مصرفی تا 400 وات، کانکتور برق شانزده پین، جریان هوای مناسب، فضای فیزیکی کافی و BIOS سازگار با شتاب‌دهنده‌های دیتاسنتری پشتیبانی کند.

به دلیل خنک‌کننده Passive و توان مصرفی بالا، این کارت برای نصب در کیس‌های معمولی یا ورک‌استیشن‌هایی که جریان هوای موردنیاز را فراهم نمی‌کنند مناسب نیست. پیش از خرید باید مدل دقیق سرور، نوع رایزر، ظرفیت پاورها، تعداد GPUهای قابل نصب و فهرست شتاب‌دهنده‌های پشتیبانی‌شده توسط سازنده بررسی شود.

ویژگی‌های نرم‌افزاری

NVIDIA H100 NVL از اکوسیستم نرم‌افزاری NVIDIA شامل CUDA ، TensorRT ، cuDNN ، NCCL ، RAPIDS و Triton Inference Server پشتیبانی می‌کند و با فریم‌ورک‌هایی مانند PyTorch ، TensorFlow و JAX قابل استفاده است.

پشتیبانی از NVIDIA AI Enterprise، مجازی‌سازی vGPU ، MIG و SR-IOV امکان تخصیص کنترل‌شده منابع GPU به ماشین‌های مجازی، کاربران و بارهای پردازشی مختلف را در زیرساخت‌های سازمانی فراهم می‌کند. استفاده از برخی قابلیت‌های مجازی‌سازی به لایسنس نرم‌افزاری و پلتفرم سرور سازگار نیاز دارد.

خروجی تصویر و کاربرد نمایشگر

NVIDIA H100 NVL یک شتاب‌دهنده محاسباتی دیتاسنتری است و برای اتصال مستقیم مانیتور یا استفاده به‌عنوان کارت گرافیک دسکتاپ طراحی نشده است. این مدل خروجی DisplayPort یا HDMI ندارد و تمرکز آن بر پردازش هوش مصنوعی، محاسبات علمی و مجازی‌سازی GPU است.

در زیرساخت‌های مجازی می‌توان منابع پردازشی کارت را از طریق NVIDIA vGPU در اختیار ماشین‌های مجازی قرار داد؛ اما نحوه استفاده، تعداد کاربران و قابلیت‌های تصویری به نوع لایسنس، پروفایل vGPU، سیستم‌عامل و پلتفرم مجازی‌سازی بستگی دارد.

کاربردهای NVIDIA H100 NVL 94GB

کارت NVIDIA H100 NVL برای استنتاج و آموزش مدل‌های هوش مصنوعی، مدل‌های زبانی بزرگ، هوش مصنوعی مولد، یادگیری عمیق، پردازش زبان طبیعی، بینایی ماشین، تحلیل داده‌های کلان، شبیه‌سازی‌های علمی، پردازش تصاویر پزشکی، محاسبات HPC و زیرساخت‌های ابری طراحی شده است.

حافظه 94 گیگابایتی، پهنای باند بالا و امکان اتصال دو کارت از طریق NVLink، این مدل را به گزینه‌ای مناسب برای پروژه‌هایی تبدیل می‌کند که مدل یا مجموعه‌داده آن‌ها در حافظه کارت‌های دیتاسنتری کم‌ظرفیت‌تر جای نمی‌گیرد.

خرید NVIDIA H100 NVL 94GB PCIe

NVIDIA H100 NVL یک شتاب‌دهنده تخصصی و پرمصرف برای زیرساخت‌های حرفه‌ای است. پیش از خرید باید نوع بار پردازشی، حجم مدل، نیاز به NVLink، تعداد GPU، ظرفیت پاور، فضای شاسی، نوع رایزر و سیستم خنک‌کننده سرور بررسی شود.

کارشناسان رسام سرور می‌توانند سازگاری این کارت را با مدل سرور، پاور و کانفیگ سخت‌افزاری موردنظر بررسی کنند تا از امکان نصب، تأمین برق و خنک‌سازی صحیح آن اطمینان حاصل شود.

سؤالات متداول کارت گرافیک NVIDIA H100 NVL 94GB