张士玉小黑屋

在HuggingFace上下载模型时，经常会看到模型的名称会带有fp16、GPTQ，GGML等字样，对不熟悉模型量化的同学来说，这些字样可能会让人摸不着头脑，我开始也是一头雾水，后来通过查阅资料，总算有了一些了解，本文将介绍一些常见的模型量化格式，因为我也不是机器学习专家，所以本文只是对这些格式进行简单的介绍，如果有错误的地方，欢迎指正。What量化量化在AI模型中，特别是在深度学习模型中，通常指的是将模型中的参数（例如权重和偏置）从浮点数转换为低位宽度的整数，例如从32位的浮点数转换为8位整数。通俗地说，量化就像是把一本详细的、用高级词汇写的书简化为一个简短的摘要或儿童版故事。这个摘要或儿童版故事占用的空间更小，更容易传播，但可能会丢失一些原始书中的细节。Why量

二、书友评论笑哭三、作品赏析宁妍君睁大眼睛，一脸诧异地看着满脸怒气的宁苍木。“爸！我知道你不忍心教训宁慕云那个贱货！可他这次实在是太过分了！”“他不仅把季博打成重伤，还对我们这些亲人出手，还把你的胳膊给拧断了！”“你说说！这魔都有几个这种目无尊长，犯上作乱的儿子吗？”“这次要是不好好教训他一次，他以后就更无法无天了！”“我看报警就挺好！让他进去吃几天牢饭！看他以后还嚣不嚣张！”“我现在就打电话报警！”“你聋了？”宁苍木瞪大眼睛怒斥道：“我说不许报警就不许报警！你难道聋了不成？”“爸？你在说什么？”宁妍君这次是真的呆住了！宁淑娴也看不下去了。“爸，你什么时候这么关心那个贱货了？”“你就这么不愿意让他吃牢饭？”“我这也是为他好啊！”“他再这么无法无天，得给我们

此刻，秦漱脑海中一片混乱，她知道她需要冷静下来。“你们先退下吧，没有我的召唤，谁都不准进来打扰我，明白了吗？”众人齐声说道“府宗万福”后，一群人整齐有序地退了下去。“赤一，你守在门外，确保无人打扰我，明佘了吗？”秦漱吩咐道。赤一恭敬地回应：“是，府宗。”待众人都退下，秦漱终于忍不住，再次痛晕过去。之后醒来。秦漱像换了一位人。她大声喊道。“小一，小一！”赤一推开门，急匆匆地走了进来。“府宗，您找我？”她问道。“是的，是的，我叫你来是想问你几位问题。”秦漱微笑着说道。赤一微微低下头，回答道：“府宗请问，赤一必定知无不言，言无不尽。”我笑了笑，摆摆手说道：“呵呵，没那么严重啦，来来来，我们坐下聊，别站着。”看出赤一有些犹豫，秦漱坚持道：“坐吧，这是我的命令。”赤一无

推荐一本小说，名为《娇娇太难撩！疯批总裁下血本宠妻》，这是部豪门总裁类型小说，很多书友都喜欢厉衍阿苑等主角的人物刻画，非常有个性。作者“歪头猫”大大目前写了169567字，最新章节第119章阿苑，欢迎你回来，4，喜欢这类小说的书友朋友们可以收藏阅读。一、作品简介强推热门小说娇娇太难撩！疯批总裁下血本宠妻，这本小说的作者是歪头猫，主角是厉衍阿苑。主要讲述了：“嗯，我们心里有数。单子我现在签，”马上，签好的确认单递到了于冲手里，厉衍看了一眼，“那行，小方总，那我们就撤了。”回到车里，厉衍疲惫地靠在车坐上假寐。驾驶座上的于冲开着车，“九爷，我们真就这么走了？……二、书友评论女主恋爱脑反复差点被男主弄死都想着男主能对她好我也是有的毛病看到最后就想看看女主什么时候忍不住逃没话讲女主

? ▶好想你(163.com)为节省时间，可直接跳转到  --> ?干货目录?前言?来源?现状?干货入门阶段入门项目学习顺序?大二打算?计划修正(可选方案)初始后续修订?计划2.0书籍?项目??前言来源的20篇博客，视频中，不少是23年的，我们要与时俱进，把握企业当前最需要的技术2023/8/6，大一一年，即将结束，目前打算是再用一个学期+寒假，打C++基础（Linux，计网，计组，数据库，数据结构与算法，常用框架，一些单体项目....），大二下期间确定好细分方向，着手准备简历投递。在此，通过掘金，CSDN，B站，力扣，InfoQ，Google，bing等，总结全网C++路线中的精华，结合当下学习情况，为接下来大二的一年和寒

分享一本宝藏小说《腐朽神奇》，小说的主人公是柳云霜乔易乞，主要讲述了：柳云霜是真的有认真思考的，明年就会大变样了，一切都不同了。今年如果买大铁门，就太显眼了，不是啥好事儿。可是，听在两个孩子耳朵里，又是另外一番光景了。“妈，我就是那么一说，咱们也没必要非买大铁门，死老贵…《腐朽神奇》免费试读第49章新家具柳云霜是真的有认真思考的，明年就会大变样了，一切都不同了。今年如果买大铁门，就太显眼了，不是啥好事儿。可是，听在两个孩子耳朵里，又是另外一番光景了。“妈，我就是那么一说，咱们也没必要非买大铁门，死老贵的。等不忙了，我就到山上砍树，用咱们搭小棚子的那种杠子，重新做一个门，也是可以的。”“是啊，知晴说的对，等不忙了，咱们就去弄。”她知道两个孩子是想安慰她，也不愿意扫兴。晚上

《我，顶级继承人，重生归来杀疯了》中的裴御是很有趣的人物，作为一部都市日常类型的小说被大佬萌妹描述的非常生动，看的人很过瘾。《我，顶级继承人，重生归来杀疯了》小说以156784字，最新章节第73章抛出诱饵的连载中状态推荐给大家，希望大家能喜欢看这本小说。一、作品简介小说《我，顶级继承人，重生归来杀疯了》强烈推荐大家阅读，作者大佬萌妹十分给力，主角是裴御。主要讲述了：裴父那是疼的嗷嗷叫啊。他一把就捂住了脸，依旧能感觉到被指甲抓过的灼热和刺疼。“别抓脸，我还要去公司上班呢，被下属看见可怎么办！”裴父怒了。结果裴妈就用手指就顶他的脑门：“你还知道要脸，那还在外面养小三……二、书友评论看了太多的反出家庭的书了，你得这本还是第一本让我觉得考虑把赵和许都收了的书，而且母亲应该是个看点。还算

《冷宫弃妃：皇上，求放过》中的叶溪棠楚砚淮是很有趣的人物，作为一部宫斗宅斗风格小说被尚若珣描述的非常生动，看的人很过瘾。“尚若珣”大大已经写了203685字，最新章节第101章邀功。一、作品简介小说《冷宫弃妃：皇上，求放过》推荐各位书友一读，这本书的作者是尚若珣，主角是叶溪棠楚砚淮。主要讲述了：就在此时，寝宫内突然传来一道嘶哑的声音，“不可能，本宫一直用的都是这款香薰，从来没有听说过有这种功效。一定是有人陷害本宫，一定是有人嫉妒本宫身怀龙裔，故意加害本宫。”许荣华原本以为是有人故意陷害她，可……二、书友评论文章文采斐然，辞藻华美，语言补实，文笔清新，情感丰富，人物形象饱满，条理清晰，结构层次分明，情节合理，跌宕起伏，描写生动，引人入胜。希望冷宫弃妃：皇上，求放过后面与结尾更加精彩

《穿越荒年：开局猛打渣女姐姐》中的人物萧毅谢玉姝拥有超高的人气，收获不少粉丝。作为一部小说推荐，“月光微凉”创作的内容还是有趣的，不做作，以下是《穿越荒年：开局猛打渣女姐姐》内容概括：有家伙的抄家伙，没有趁手的家伙拿起火把！所有的动物都怕火，手里有火，它们就不敢近身！注意脚下的蛇！刘强也开口道“别忘了，你们辛苦挖来的山药还有救命的水都在这！自己跑了，家人也得饿死渴死！不想死的、是爷们的、就给我跟它们死磕！小娘们都不怕，一群老爷们吓破了胆，传出去忒他么丢人！”一句小娘们，听的谢玉姝...第27章有家伙的抄家伙，没有趁手的家伙拿起火把！所有的动物都怕火，手里有火，它们就不敢近身！注意脚下的蛇！刘强也开口道“别忘了，你们辛苦挖

小说推荐《除我之外》目前已经全面完结，商渺盛聿之间的故事十分好看，作者“应不许”创作的主要内容有：”提到盛聿，宋音音的脸有些红，她咬了咬唇，抱着文件回到自己工位。商渺什么话都没说，她将自己才整理好的一份资料发给了盛聿的工作号。从盛聿提醒过她以后，商渺就没有再联系过盛聿的私人号。只是她发完文件，无意识往下一划，才发现盛聿的私人微信也变成了一只兔子...第6章晚宴在周末，盛聿说了要带宋音音去，商渺自然不会多插手。她将资料都整理成文件，发到宋音音邮箱，就不再过问。只是宋音音一个新人实习生，既要处理工作，又要研究宴会的事情，不免有些手忙脚乱。商渺看在眼里，想起盛聿的提醒，主动问她，“有需要帮忙的吗？”宋音音一愣，商渺注视着她的眼