欢迎使用大模型压缩工具llmc!# llmc是一个用于大模型压缩的工具，支持多种模型和多种压缩算法。 github链接: ModelTC/llmc arxiv链接: https://arxiv.org/abs/2405.06001 快速入门 LLMC的安装 准备模型 下载数据集 设置配置文件 开始运行 量化推理 常见问题 配置说明 配置的简要说明 配置的详细说明 base model calib eval quant sparse save 进阶用法 模型精度测试V1 精度测试流程 lightllm推理引擎的使用 opencompass评测工具的使用 lm-evaluation-harness评测工具的使用 常见问题 模型精度测试V2 多卡并行测试 自定义校准数据集 Vit 量化和 img 数据集 Vit 量化 img 数据集 VLM 量化和 custom_mm 数据集 VLM 量化 custom_mm 数据集 VLM 测评 层间混合比特量化 模型稀疏化 Token Reduction 结合量化 量化最佳实践 AWQ 1.1 仅权重量化 1.2 权重-激活量化 AWQ + OmniQuant 1.1 仅权重量化 1.2 权重-激活量化 QuaRot + GPTQ 1.1 权重-激活量化 量化推理后端 VLLM量化推理 1.1 环境准备 1.2 量化格式 1.3 使用LLMC量化模型 1.4 使用VLLM推理模型 Sglang量化推理 1.1 环境准备 1.2 量化格式 1.3 使用LLMC量化模型 1.4 使用Sglang推理模型 AutoAWQ量化推理 1.1 环境准备 1.2 量化格式 1.3 使用LLMC量化模型 1.4 使用AutoAWQ推理模型 MLC LLM量化推理 1.1 环境准备 1.2 量化格式 1.3 使用LLMC量化模型 1.4 使用MLC LLM推理模型
