|
|
a8fea027ac
|
feat: 实现大规模并行预测功能 (v2.0.0)
新增功能：
- 新增统一批量预测工具 utils/batch_predictor.py
* 支持单进程/多进程并行模式
* 灵活的 GPU 配置和显存自动计算
* 自动临时文件管理和断点续传
* 完整的 CLI 参数支持（Click 框架）
- 新增 Shell 脚本集合 scripts/
* run_parallel_predict.sh - 并行预测脚本
* run_single_predict.sh - 单进程预测脚本
* merge_results.sh - 结果合并脚本
性能优化：
- 解决 CUDA + multiprocessing fork 死锁问题
* 使用 spawn 模式替代 fork
* 文件描述符级别的输出重定向
- 优化预测性能
* XGBoost OpenMP 多线程（利用所有 CPU 核心）
* 预加载模型减少重复加载
* 大批量处理降低函数调用开销
* 实际加速比：2-3x（12进程 vs 单进程）
- 优化输出显示
* 抑制模型加载时的权重信息
* 只显示进度条和关键统计
* 临时文件自动保存到专门目录
文档更新：
- README.md 新增"大规模并行预测"章节
- README.md 新增"性能优化说明"章节
- 添加详细的使用示例和参数说明
- 更新项目结构和版本信息
技术细节：
- 每个模型实例约占用 2.5GB GPU 显存
- 显存计算公式：建议进程数 = GPU显存(GB) / 2.5
- GPU 瓶颈占比：MolE 表示生成 94%
- 非 GIL 问题：计算密集任务在 C/CUDA 层
Breaking Changes：
- 废弃旧的独立预测脚本，统一使用新工具
相关 Issue: 解决 #并行预测卡死问题
测试平台: Linux, 256 CPU cores, NVIDIA RTX 5090 32GB
|
2025-10-18 20:53:39 +08:00 |
|
|
|
4745ce3884
|
抗菌预测模型输出格式字段解释
|
2025-10-17 21:27:12 +08:00 |
|
|
|
576881116a
|
add macos support
|
2025-10-17 20:35:25 +08:00 |
|
|
|
34102cf459
|
1. 代码修改
models/broad_spectrum_predictor.py:
✅ 新增 StrainPrediction dataclass（单个菌株预测结果）
✅ 更新 BroadSpectrumResult 添加 strain_predictions 字段（pandas.DataFrame 类型）
✅ 添加 to_strain_predictions_list() 方法（类型安全转换）
✅ 新增 _prepare_strain_level_predictions() 方法
✅ 修改 predict_batch() 方法支持 include_strain_predictions 参数
utils/mole_predictor.py:
✅ 添加 include_strain_predictions 参数到所有函数
✅ 添加命令行参数 --include-strain-predictions
✅ 实现菌株级别数据与聚合结果的合并逻辑
✅ 更新所有函数签名和文档字符串
2. 测试验证
✅ 测试基本功能（仅聚合结果）: test_3.csv → 3 行输出
✅ 测试菌株级别预测功能: test_3.csv → 120 行输出（3 × 40）
✅ 验证输出格式正确性
✅ 验证每个分子都有完整的 40 个菌株预测
✅ 验证革兰染色信息正确（18 个阴性菌 + 22 个阳性菌）
3. 文档更新
README.md:
✅ 更新命令行使用示例
✅ 添加 Python API 使用示例（包含菌株预测）
✅ 添加详细的输出格式说明
✅ 添加 40 种菌株列表概览
✅ 添加数据使用场景示例（强化学习、筛选、可视化）
Data/mole/README.md:
✅ 新增"菌株级别预测详情"章节
✅ 完整的 40 种菌株列表（分革兰阴性/阳性）
✅ 数据访问方式示例（CSV 读取、Python API）
✅ 强化学习应用场景（状态表示、奖励函数设计）
✅ 数据可视化代码示例
✅ 性能和存储建议
|
2025-10-17 16:46:04 +08:00 |
|
|
|
62e0f3d6aa
|
一般情况更新，文件注释等
|
2025-10-17 16:08:44 +08:00 |
|
mm644706215
|
ea218a3a39
|
update
|
2025-10-16 17:26:35 +08:00 |
|
zinph
|
ac318bc227
|
README.md file updated.
|
2020-01-26 22:59:57 -05:00 |
|
zinph
|
73b4fce69a
|
README.md file updated.
|
2020-01-26 19:18:15 -05:00 |
|
zinph
|
1c84b966db
|
attached the webapplication GUI
|
2020-01-26 18:42:57 -05:00 |
|
