可通过三种轻量级方式快速调用CodeGeeX预训练模型：一、用transformers库本地加载推理；二、通过VSCode插件一键启用；三、调用本地部署的API服务。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您希望在开发环境中快速调用并使用CodeGeeX预训练的AI模型，而非从头训练或微调，可通过多种轻量级方式直接加载和推理。以下是实现该目标的具体路径：
一、使用transformers库加载CodeGeeX2模型
该方法适用于Python环境下的本地推理，依赖Hugging Face transformers生态，支持CUDA加速，适合中高配置机器进行代码生成任务。
1、确保已安装transformers、torch及accelerate库，且PyTorch版本兼容CUDA 11.8或更高版本。
2、执行以下代码初始化tokenizer与model：
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("THUDM/codegeex2-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/codegeex2-6b", trust_remote_code=True, device='cuda')
3、将model设为评估模式：model = model.eval()
4、构造带语言标签的prompt，例如：# language: Python # write a function to calculate Fibonacci sequence
5、调用tokenizer.encode与model.generate完成生成，注意设置max_new_tokens参数以控制输出长度。
二、通过VSCode插件一键启用CodeGeeX服务
该方式无需编写任何加载逻辑，所有模型调用由插件后台托管，适用于日常编码补全、注释生成等高频场景，响应延迟低且操作零门槛。
1、打开VSCode，确认版本不低于1.72.0。
2、点击左侧「Extensions」图标，或使用快捷键Ctrl+Shift+X。
3、在搜索框中输入CodeGeeX，选择官方发布的“CodeGeeX: AI Code AutoComplete, Chat, Auto Comment”插件。
4、点击「Install」按钮完成安装。
5、重启VSCode后，在任意代码文件中输入注释或函数签名，按下Tab键即可触发代码生成。
6、首次使用需登录，支持账号密码、手机验证码或微信扫码三种方式。
三、调用本地部署的CodeGeeX API服务
适用于企业私有化部署场景，模型运行于本地GPU服务器，请求通过HTTP协议提交至API端点，保障数据不出域且可定制鉴权策略。
1、从CodeGeeX企业版后台获取已部署的API服务地址，形如https://your-domain.com/v1/completions。
2、准备请求头，包含Authorization字段，值为Bearer后接有效API Key。
3、构造JSON请求体，关键字段包括：model（固定为codegeex2-6b）、prompt（含语言标签的完整提示）、temperature（建议设为0.2~0.5）、max_tokens（建议≤512）。
4、使用curl或requests发送POST请求，例如：
curl -X POST "https://your-domain.com/v1/completions"
-H "Authorization: Bearer sk-xxx"
-H "Content-Type: application/json"
-d '{"model":"codegeex2-6b","prompt":"# language: Java\n// sort an integer array","temperature":0.3,"max_tokens":256}'
5、解析返回JSON中的choices[0].text字段提取生成代码。
