唐杰团队学习方法唐杰thu

1. 参数高效微调技术(PEFT)

团队近期发表的综述系统梳理了基础模型(FMs)的PEFT技术，涵盖选择性、添加性、提示、重参数化和混合等核心方法，并指出当前存在的超参数敏感、可解释性差等问题。该方法通过最小化参数调整实现下游任务适配，已在ChatGLM等千亿级模型中验证效果。

2. 自监督学习框架

团队将自监督学习分为生成式、对比式和对抗式三大类，突破传统监督学习对标注数据的依赖。其提出的GLM-130B模型通过自监督预训练实现跨平台部署，被斯坦福评为"亚洲最先进大模型之一"。

3. 多模态融合与认知智能

在ChatGLM系列模型中创新性实现文本、图像、代码的多模态统一架构，结合P-Tuning算法实现可控内容生成。近期提出"超级认知智能"概念，大模型的逻辑推理与常识构建能力。

4. 开源协同与产业落地

坚持"知行合一"理念，构建包含AMiner学术图谱、CodeGeeX代码生成等开源工具链。其研发的模型已适配华为升腾等10余款国产芯片，形成"预训练-微调-应用"完整技术闭环。

团队学习方法强调：

动态显示，团队正PEFT与持续学习的结合，以及借鉴大脑机制优化模型架构，相关成果可通过AMiner平台追踪。