Sebastian 热衷于开源软件,还喜欢写作,撰写了畅销书《Python Machine Learning》(《Python 机器学习》)和《Machine Learning with PyTorch and ScikitLearn》。
最近,Sebastian Raschka 发布了新书《Build a Large Language Model (From Scratch)》,旨在讲解从头开始构建大型语言模型的整个过程,包括如何创建、训练和调整大型语言模型,具体地:
规划和编码 LLM 的所有部分;准备适合 LLM 训练的数据集;针对文本分类和使用自己的数据对 LLM 进行微调;利用人工反馈确保 LLM 遵循指令;将预先训练权重加载到 LLM 中。书的地址:https://livebook.manning.com/book/build-a-large-language-model-from-scratch/
这本书用清晰的文字、图表和示例解释每个阶段,从最初的设计和创建,到采用通用语料库进行预训练,一直到针对特定任务进行微调。
这本书的配套代码也已经在 GitHub 上开源了。
配套的代码:https://github.com/rasbt/LLMs-from-scratch
欢迎各位关注我的个人