【点击】加入大模型技术交流群原文：https:zhuanlanzhihucomp680341931本文主要基于当前主流GPU硬件、量化算法最新论文，参考量化开源项目，探讨一下量化推理加速的

前言资源单机两4090，如图在这里插入图片描述单卡24G，baichuan-13b-chat单卡推理需要至少26G，因此仅用一张卡，我们是无法加载百川13B的模型，所以，无论是推理还是训练，我们都必须

今天分享一个来自同济大学HaofenWang的关于检索增强生成的报告：《Retrieval-AugmentedGeneration(RAG):Paradigms,Technologies,

今天来讲一下大模型中的模型融合，并给出大模型融合的有效方法的原理和实现。模型融合大家以前用的很多，特别是在判别模型里，属于永远都能稳定提升的那一类方法。但是生成语言模型，因为解码的过程存在，并不像判别

写在前面大模型时代，指令微调是必不可少的技能。那么如何使用更少的数据，调出更好地效果，更节省训练资源&成本呢？之前已经给大家分享过几篇数据筛选的方法：DEITA、MoDS和IFD。今天给大家带来一篇通

引言Grok-1是由马斯克旗下的人工智能初创公司xAl开发的一款大型语言模型，是一个混合专家(MoE）模型，拥有3140亿参数，使其成为目前参数量最大的开源大语言模型。Grok-1的开发和