Cartes graphiques GPU NVIDIA Tesla H100 80GB PCIe pour serveur
$59,999.00
Passer aux informations sur le produit
* Avec parcimonie
Cartes graphiques GPU NVIDIA Tesla H100 80GB PCIe pour serveur
$59,999.00
Carte graphique GPU PCIe NVIDIA H100 80 Go
Surmultipliez l'inférence de grands modèles de langage avec la H100 NVL
Pour les LLM allant jusqu'à 70 milliards de paramètres (Llama 2 70B), la NVIDIA H100 NVL basée sur PCIe avec pont NVLink utilise Transformer Engine, NVLink et 188 Go de mémoire HBM3 pour offrir des performances optimales et une mise à l'échelle facile dans n'importe quel centre de données, démocratisant ainsi les LLM. Les serveurs équipés de GPU H100 NVL augmentent les performances de Llama 2 70B jusqu'à 5 fois par rapport aux systèmes NVIDIA A100 tout en maintenant une faible latence dans les environnements de centre de données à puissance limitée.
Spécifications du produit
| H100 SXM | H100 NVL | |
|---|---|---|
| FP64 | 34 téraFLOPS | 30 téraFLOPS |
| FP64 Tensor Core | 67 téraFLOPS | 60 téraFLOPS |
| FP32 | 67 téraFLOPS | 60 téraFLOPS |
| TF32 Tensor Core* | 989 téraFLOPS | 835 téraFLOPS |
| BFLOAT16 Tensor Core* | 1 979 téraFLOPS | 1 671 téraFLOPS |
| FP16 Tensor Core* | 1 979 téraFLOPS | 1 671 téraFLOPS |
| FP8 Tensor Core* | 3 958 téraFLOPS | 3 341 téraFLOPS |
| INT8 Tensor Core* | 3 958 TOPS | 3 341 TOPS |
| Mémoire GPU | 80 Go | 94 Go |
| Bande passante mémoire GPU | 3,35 To/s | 3,9 To/s |
| Décodeurs | 7 NVDEC 7 JPEG |
7 NVDEC 7 JPEG |
| Puissance de dissipation thermique maximale (TDP) | Jusqu'à 700 W (configurable) | 350-400 W (configurable) |
| GPU multi-instances | Jusqu'à 7 MIGS à 10 Go chacun | Jusqu'à 7 MIGS à 12 Go chacun |
| Facteur de forme | SXM | PCIe double slot refroidi par air |
| Interconnexion | NVIDIA NVLink™ : 900 Go/s PCIe Gen5 : 128 Go/s |
NVIDIA NVLink : 600 Go/s PCIe Gen5 : 128 Go/s |
| Options de serveur | Systèmes certifiés NVIDIA HGX H100 Partner et NVIDIA- Certified Systems™ avec 4 ou 8 GPU NVIDIA DGX H100 avec 8 GPU |
Systèmes certifiés Partner et NVIDIA avec 1 à 8 GPU |
| NVIDIA AI Enterprise | Add-on | Inclus |
* Avec parcimonie