update

finetune/docker-compose_pytorch2.3.yml

@@ -1,5 +1,18 @@
 version: '3.8'
 
+# DeepSpeed支持多种C++/CUDA扩展（ops），这些ops旨在优化深度学习的训练和推理过程。以下是一些主要的DeepSpeed ops及其功能：
+
+# FusedAdam - 提供融合优化的Adam优化器，适用于GPU。
+# FusedLamb - 类似FusedAdam，针对LAMB优化器，适用于大规模分布式训练。
+# SparseAttention - 用于高效计算稀疏注意力机制。
+# Transformer - 提供Transformer模型的高效实现。
+# TransformerInference - 专门用于Transformer模型的推理优化。
+# CPUAdam - 针对CPU优化的Adam优化器。
+# CPULion - 针对CPU的Lion优化器。
+# Quantizer - 提供量化支持，以减少模型大小和提高推理速度。
+# RandomLTD - 用于随机层裁剪的优化器。
+# StochasticTransformer - 支持随机Transformer模型的训练和推理。
+
 services:
   ubuntu-finetune:
     build: 
@@ -13,7 +26,10 @@ services:
         DS_BUILD_OPS: 1
         DS_BUILD_SPARSE_ATTN: 0
         DS_BUILD_FUSED_ADAM: 1
-        DS_BUILD_CPU_ADAM: 0
+        DS_BUILD_CPU_ADAM: 1
+        USE_CUDA: 1
+        USE_ROCM: 0
+        USE_XPU: 0
         CUDA: cu121
         CUDA_ARCH_LIST: "80;86;89;90" # for RTX 4090, all : "80;86;89;90"
         SETUPTOOLS_VERSION: "69.5.1"