---
tags:
- text-generation
- gguf
tasks:
- text-generation
license: Apache License 2.0
---

# <Model Name> Quantized GGUF

## 模型说明

简述模型用途、量化目标和适配场景。

## 权重来源

- 原始模型来源：`<HF repo>`
- 本仓库产物：`<quant types>`

## 量化方法

- 转换：HF safetensors -> BF16 GGUF
- 校准：imatrix
- 导出：IQ4_KS / IQ5_K / IQ6_K

## 校准数据来源

- 基础校准数据
- 代码对话数据
- 代码偏好数据

## 文件内容

- `<model>-IQ4_KS.gguf`
- `<model>-IQ5_K.gguf`
- `<model>-IQ6_K.gguf`
- `<model>.imatrix.dat`