tags, tasks, license
| tags | tasks | license | |||
|---|---|---|---|---|---|
|
|
Apache License 2.0 |
Quantized GGUF
模型说明
简述模型用途、量化目标和适配场景。
权重来源
- 原始模型来源：
<HF repo> - 本仓库产物：
<quant types>
量化方法
- 转换：HF safetensors -> BF16 GGUF
- 校准：imatrix
- 导出：IQ4_KS / IQ5_K / IQ6_K
校准数据来源
- 基础校准数据
- 代码对话数据
- 代码偏好数据
文件内容
<model>-IQ4_KS.gguf<model>-IQ5_K.gguf<model>-IQ6_K.gguf<model>.imatrix.dat