00168 ChatGLM 论文学习笔记 ubuntu

前言

Tsinghua University ChatGLM 论文的学习笔记。

Operating System: Ubuntu 22.04.4 LTS

信息

论文题目：ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools

发表年份：2024

论文地址：https://arxiv.org/abs/2406.12793

pdf 地址：https://arxiv.org/pdf/2406.12793

为了个人学习研究，论文 pdf 笔记版：

内容

摘要

我们介绍ChatGLM，这是一个不断发展的大型语言模型家族，我们一直在开发它。本报告主要关注GLM-4语言系列，包括GLM-4、GLM-4-Air和GLM-4-9B。它们代表了我们最有能力的模型，这些模型是根据前三代ChatGLM的所有见解和经验进行训练的。迄今为止，GLM-4模型已经在十万亿tokens上进行了预训练，主要是中文和英文，还有24种语言的一小部分语料库，主要针对中文和英文的使用进行对齐。高质量的对齐是通过多阶段的训练后过程实现的，包括监督微调和从人类反馈中学习。评估表明，GLM-4 1）在MMLU、GSM8K、MATH、BBH、GPQA和HumEval等通用指标方面与GPT-4密切竞争或优于GPT-4,2）在IFEval测量的指令遵循方面接近GPT-4-Turbo，3）在长上下文任务方面与GPT-4 Turbo（128K）和Claude 3相匹配，4）在对齐Bench测量的中文对齐方面优于GPT-4。GLM-4 All Tools模型进一步对齐以了解用户意图，并自主决定何时以及使用哪些工具（包括Web浏览器、Python解释器、文本到图像模型和用户定义的函数）来有效完成复杂任务。在实际应用中，它在通过Web浏览访问在线信息和使用Python解释器解决数学问题等任务中匹配甚至超过GPT-4 All Tools。在课程中，我们开源了一系列模型，包括ChatGLM-6B（三代）、GLM-4-9B（128K、1M）、GLM-4V-9B、WebGLM和CodeGeeX，仅在2023年就吸引了超过1000万的Hugging face下载。开放模型可以通过这个https URL和这个https URL访问。