GLM-4 （智谱AI发布的基座大模型）

简介

GLM-4的All Tools能力可以处理各种类型的任务，包括数据分析、图表绘制、PPT生成等常见的文件处理，旨在用自动化的方式解决提示词复杂这一痛点。

根据智谱AI官方披露，GLM-4的中文对齐能力总分超过了GPT-4，用数据集进行测试可以得出，GLM-4在中文专业能力、中文理解能力和角色扮演上的表现得分均高于GPT-4和GPT-4 Turbo。在多任务语言理解、提示词跟随、指令跟随等基准测试，以及包括GSM8K、Math等多项数据集当中，GLM-4的表现均优于GPT-3.5。

基本原理

智谱AI于2020年底开始研发GLM预训练架构，2021年训练完成百亿参数模型GLM-10B，2022年合作研发了中英双语千亿级超大规模预训练模型GLM-130B。2023年推出基于千亿基座的对话模型ChatGLM，并开源单卡版模型ChatGLM-6B，使得研究者和个人开发者进行本地微调和部署成为可能。GLM-4支持128K的上下文窗口长度，单次提示词能处理的文本可达300页。在大海捞针压力测试（needle test）中，128K文本长度内，GLM-4模型均可做到几乎100%的精度召回，并未出现长上下文全局信息因为失焦而导致的精度下降。

发展历程

2020年，智谱AI开始GLM预训练架构的研发,并训练了百亿参数模型GLM-10B。2022年8月，智谱AI的双语千亿级预训练模型GLM-130B正式上线。在当年的斯坦福大学大模型中心对全球主流大模型进行全方位评测中，GLM-130B成为亚洲唯一入选模型，并在准确性等部分标准方面被认为，已与GPT-3持平。

2023年10月27日，中国计算机大会论坛上，阿里、腾讯投资的智谱AI正式发布全新自研的第三代基座大模型ChatGLM3系列。

2024年1月16日，智谱AI首届技术开放日在京举办，智谱AI团队全面展示了其投身大模型事业三年多来所积累的技术成果，并发布了新一代基座大模型GLM-4。

功能和服务

通过GLM-4的智能体能力，GLM-4 All Tools可实现自主根据用户意图，自动理解、规划复杂指令，自由调用网页浏览器、Code Interpreter代码解释器和多模态文生图大模型以完成复杂任务。GLMs个性化智能体基于GLM-4模型的强大能力，用户只要用简单的提示词指令就能创建属于自己的GLM智能体，大幅降低了大模型使用门槛。GLM-4可以支持128k的上下文窗口长度，单次提示词可以处理的文本可以达到300页。同时在多模态能力方面，文生图和多模态理解都得到了增强。

GLM-4还具备All Tools能力——一个指令可以调动各种工具。得益于GLM模型的强大Agent能力，GLM-4实现了自主根据用户意图，自动理解、规划复杂的指令，自由调用网页WebGLM搜索、Code Interpreter代码解释器和多模态形成的能力。GLM-4的All Tools能力可以处理各种类型的任务，包括数据分析、图表绘制、PPT生成等常见的文件处理，旨在用自动化的方式解决提示词复杂这一痛点。

模型优势

相较于前一代模型，GLM-4在整体性能上有了显著提升，不仅支持更长的上下文信息处理，推理速度也更为迅捷，有效降低了推理成本。GLM-4的中文对齐能力总分超过了GPT-4，用数据集进行测试可以得出，GLM-4在中文专业能力、中文理解能力和角色扮演上的表现得分均高于GPT-4和GPT-4 Turbo。在多任务语言理解、提示词跟随、指令跟随等基准测试，以及包括GSM8K、Math等多项数据集当中，GLM-4的表现均优于GPT-3.5。GLM-4相比上一代的性能全面提升近60%，它支持更长的上下文、更强的多模态支持和更快速的推理等。

参考资料