讲师中心 微信公众号
AI工具推荐 视频效率加速

基于 LangServe 的 Deepseek 本地大模型服务化实践

轻瑶吖_6022

轻瑶吖_6022

发布时间:2025-04-22 14:20:14

|

364人浏览过

|

来源于php中文网

原创

在人工智能技术迅猛发展的今天,大模型(llm)已经成为推动 ai 应用落地的关键动力。在之前的分享「普通人上手 deepseek 的实用攻略」中,我们已经成功将 deepseek 大模型高效地部署到本地环境,并对外提供稳定的服务。

本文将与你分享我们基于 LangServe 框架,将 DeepSeek 本地大模型转化为服务的实践经验,带领你一步步了解如何快速搭建、部署和管理本地大模型服务,使 AI 能力真正触手可及。

基于 LangServe 的 Deepseek 本地大模型服务化实践

1、了解 LangServe

LangServe 是一个专门为语言模型设计的服务化框架,旨在帮助开发者将大模型能力迅速封装成 API 服务。其核心优势包括:

  • 易于使用:通过少量代码即可完成模型服务的部署;
  • 高性能:支持并发请求和高效推理,满足生产环境需求;
  • 灵活扩展:可与其他工具(如 LangChain)无缝集成,构建复杂的 AI 应用。

对于需要在本地环境中部署大模型的团队来说,LangServe 是一个不可或缺的工具。

2、实践安装

从零开始的 DeepSeek 服务化是本文的重点内容。

2.1 环境准备

安装 LangServe:

pip install "langserve[all]" 

或者使用 pip install "langserve[client]" 安装客户端代码,使用 pip install "langserve[server]" 安装服务器端代码。

下载 DeepSeek 模型权重,并配置本地推理环境,之前的「普通人上手 Deepseek 的实用攻略」已经完成了这一步骤。

2.2 模型封装

使用 LangServe 将 DeepSeek 模型封装为 API 服务:

引入关联类库:

from fastapi import FastAPI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_ollama.llms import OllamaLLM
from langserve import add_routes

创建提示词模板:

system_template = "来,一起计算这个难题吧!"
prompt_template = ChatPromptTemplate.from_messages([
    ('system', system_template),
    ('user', '{text}')
])

创建本地大模型:

ucloud-deepseek-ocr
ucloud-deepseek-ocr

使用DeepSeek‑OCR模型进行OCR文字识别,适用于用户请求OCR、文字识别、图片文字提取、截图识别或图片转文字等场景。

下载
model = OllamaLLM(model="deepseek-r1:1.5b")

创建解析器:

parser = StrOutputParser()

创建链:

chain = prompt_template | model | parser

定义 App:

app = FastAPI(
    title="LangChain Server",
    version="1.0",
    description="使用 LangChain 的 Runnable 接口的简单 API 服务器。",
)

添加链的路由:

add_routes(
    app,
    chain,
    path="/calc",
)

启动命令:

if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="localhost", port=8010)

至此,一个简单的问答链已经创建好了。运行它需要一个参数:text。

2.3 启动程序

启动此程序,出现类似下面的输出则说明启动成功。

基于 LangServe 的 Deepseek 本地大模型服务化实践

根据上图的信息,在浏览器输入 http://localhost:8010/calc/playground/

基于 LangServe 的 Deepseek 本地大模型服务化实践

2.4 问答交互

接下来,我们尝试输入一个简单问题来进行交互吧~

基于 LangServe 的 Deepseek 本地大模型服务化实践

搞定!

后续 DeepSeek 学习内容,持续更新,欢迎关注~

热门AI工具

更多
SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
pip安装使用方法
pip安装使用方法

安装步骤:1、确保Python已经正确安装在您的计算机上;2、下载“get-pip.py”脚本;3、按下Win + R键,然后输入cmd并按下Enter键来打开命令行窗口;4、在命令行窗口中,使用cd命令切换到“get-pip.py”所在的目录;5、执行安装命令;6、验证安装结果即可。大家可以访问本专题下的文章,了解pip安装使用方法的更多内容。

3330

2023.10.09

更新pip版本
更新pip版本

更新pip版本方法有使用pip自身更新、使用操作系统自带的包管理工具、使用python包管理工具、手动安装最新版本。想了解更多相关的内容,请阅读专题下面的文章。

7603

2024.12.20

pip设置清华源
pip设置清华源

设置方法:1、打开终端或命令提示符窗口;2、运行“touch ~/.pip/pip.conf”命令创建一个名为pip的配置文件;3、打开pip.conf文件,然后添加“[global];index-url = https://pypi.tuna.tsinghua.edu.cn/simple”内容,这将把pip的镜像源设置为清华大学的镜像源;4、保存并关闭文件即可。

9262

2024.12.23

python升级pip
python升级pip

本专题整合了python升级pip相关教程,阅读下面的文章了解更多详细内容。

4807

2025.07.23

http500解决方法
http500解决方法

http500解决方法有检查服务器日志、检查代码错误、检查服务器配置、检查文件和目录权限、检查资源不足、更新软件版本、重启服务器或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3803

2023.11.09

http请求415错误怎么解决
http请求415错误怎么解决

解决方法:1、检查请求头中的Content-Type;2、检查请求体中的数据格式;3、使用适当的编码格式;4、使用适当的请求方法;5、检查服务器端的支持情况。更多http请求415错误怎么解决的相关内容,可以阅读下面的文章。

954

2023.11.14

HTTP 503错误解决方法
HTTP 503错误解决方法

HTTP 503错误表示服务器暂时无法处理请求。想了解更多http错误代码的相关内容,可以阅读本专题下面的文章。

6706

2024.03.12

http与https有哪些区别
http与https有哪些区别

http与https的区别:1、协议安全性;2、连接方式;3、证书管理;4、连接状态;5、端口号;6、资源消耗;7、兼容性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

5510

2024.08.16

Uvicorn 报错与问题解决教程
Uvicorn 报错与问题解决教程

本专题汇总了Uvicorn服务器常见问题与报错解决的教程合集,涵盖启动失败、端口占用、模块导入错误、事件循环冲突及热重载失效等典型故障的排查思路。同时整理了多进程与Worker配置、SSL/HTTPS证书报错、跨域与代理配置等实战解决方案,助你快速定位并解决Uvicorn运行中的各类问题。

0

2026.11.02

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn