39 lines
591 B
Markdown
39 lines
591 B
Markdown
---
|
||
tags:
|
||
- text-generation
|
||
- gguf
|
||
tasks:
|
||
- text-generation
|
||
license: Apache License 2.0
|
||
---
|
||
|
||
# <Model Name> Quantized GGUF
|
||
|
||
## 模型说明
|
||
|
||
简述模型用途、量化目标和适配场景。
|
||
|
||
## 权重来源
|
||
|
||
- 原始模型来源：`<HF repo>`
|
||
- 本仓库产物：`<quant types>`
|
||
|
||
## 量化方法
|
||
|
||
- 转换：HF safetensors -> BF16 GGUF
|
||
- 校准：imatrix
|
||
- 导出：IQ4_KS / IQ5_K / IQ6_K
|
||
|
||
## 校准数据来源
|
||
|
||
- 基础校准数据
|
||
- 代码对话数据
|
||
- 代码偏好数据
|
||
|
||
## 文件内容
|
||
|
||
- `<model>-IQ4_KS.gguf`
|
||
- `<model>-IQ5_K.gguf`
|
||
- `<model>-IQ6_K.gguf`
|
||
- `<model>.imatrix.dat`
|