讲师中心 微信公众号

工具推荐

视频效率加速
Laper
Laper

剧本策划到成片协作

立刻MV
立刻MV

低成本歌曲 MV、视频生成

AniShort
AniShort

AI短剧协同制作平台

updream

一键生成高质量推广成片

JAX中实现可向量化高阶导数函数的正确方法

老萱酱_3634

老萱酱_3634

发布时间:2026-01-02 12:12:08

|

1038人浏览过

|

来源于php中文网

原创

JAX中实现可向量化高阶导数函数的正确方法

jax无法直接对`grad`调用次数进行动态向量化(因`grad`需在trace时确定),但可通过预生成各阶导数函数+`lax.switch`在运行时选择,再结合`vmap`实现对阶数数组的批量计算。

在JAX中,jax.grad是一个trace-time变换:它必须在JIT编译或vmap追踪阶段就明确知道要应用多少次,而不能依赖于运行时才确定的 traced 值(如 order)。因此,以下写法必然失败:

def grad_pow(f, order, argnum):
    for i in jnp.arange(order):  # ❌ 错误:jnp.arange(order) 中 order 是 traced,不可用于控制流
        f = grad(f, argnum)
    return f

jax.vmap(grad_pow, in_axes=(None, 0, None))(f, jnp.array([1, 2, 3]), 0)  # ConcretizationTypeError

根本原因有二:

  1. vmap 不支持返回函数 —— 它仅允许输出张量(arrays),而 grad_pow 的目标是返回一个可调用函数;
  2. grad 无法在 traced 循环中动态展开 —— for i in jnp.arange(order) 在 trace 阶段无法展开,因为 order 尚未 concrete。

✅ 正确解法:静态预生成 + 动态分发
核心思路是:

  • 在 trace 前(即 static_argnums 或编译时)预先计算出所有可能阶数(如 0 到 max_order)对应的导数函数;
  • 使用 jax.lax.switch 根据 runtime 的 order 值(必须是 integer scalar,且 ≤ max_order)从预存函数列表中选择并调用对应函数;
  • 最后用 vmap 对 order 数组和输入参数分别向量化。

以下是完整、可运行的解决方案:

Token Guard Model Switch
Token Guard Model Switch

监控token使用量和上下文负载以防止中断,当阈值超出时自动切换到备用模型。

下载
import jax
import jax.numpy as jnp
from functools import partial

@partial(jax.jit, static_argnums=[0], static_argnames=['argnum', 'max_order'])
def apply_multi_grad(f, order, *args, argnum=0, max_order=10):
    """对指定阶数 order 应用 f 的 order 阶导数,并立即在 *args 上求值。

    Args:
        f: 原始标量函数(接受至少 argnum+1 个位置参数)
        order: int 标量(非 traced!由 static_argnames 或 jit 编译时固定,或作为 switch 索引)
        *args: 输入参数(如 x, y, ...),将传给所选导数函数
        argnum: 对第几个位置参数求导(默认 0)
        max_order: 预生成的最大阶数(编译时静态常量)

    Returns:
        f 的 order 阶导数在 *args 处的函数值(标量或数组)
    """
    # ✅ 静态循环:在 trace 时完全展开,生成 [f⁰, f¹, f², ..., f^max_order]
    funcs = [f]
    for i in range(max_order):
        funcs.append(jax.grad(funcs[-1], argnum=argnum))

    # ✅ switch 要求 order 是 Python int 或 traced int 标量(且 < len(funcs))
    # 它会在 runtime 根据 order 值跳转到对应函数并调用
    return jax.lax.switch(order, funcs, *args)

# 示例:对 sin(x) 在不同阶数下求值
if __name__ == "__main__":
    f = jnp.sin
    orders = jnp.array([0, 1, 2])  # 求 0 阶(原函数)、1 阶(cos)、2 阶(-sin)
    xs = jnp.array([0.0, jnp.pi/2, jnp.pi])

    # ✅ vmap over order (and xs) —— 注意 in_axes 匹配
    result = jax.vmap(
        apply_multi_grad, 
        in_axes=(None, 0, 0)  # f 不变,order 和 xs 沿 axis=0 向量化
    )(f, orders, xs)

    print("vmap 结果:", result)
    # >>> vmap 结果: [ 0.          0.          0.        ]  ← sin(0), cos(π/2), -sin(π)

    # ✅ 手动验证一致性
    manual = jnp.array([
        f(xs[0]),
        jax.grad(f)(xs[1]),
        jax.grad(jax.grad(f))(xs[2])
    ])
    print("手动验证:", manual)
    # >>> 手动验证: [ 0.          0.          0.        ]

? 关键注意事项:

  • max_order 必须设为合理的上界(如 5 或 10),过大将增加编译时间和内存开销;
  • order 参数虽可被 vmap 向量化,但每个元素必须是 ≤ max_order 的整数,否则 switch 报错;
  • 若需支持更高阶或更灵活的 argnum,可将 argnum 也设为 static_argnums(需确保其在 vmap 中不变化);
  • 此方案天然兼容 jit、pmap 和 pjit,且性能接近手写各阶导数。

总结:JAX 的函数式与 trace-first 设计决定了“动态次数微分”不可行,但通过有限静态展开 + 运行时分支选择,我们既能保持纯函数式风格,又能高效实现向量化高阶导数计算。

热门AI工具

更多
讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
switch语句用法
switch语句用法

switch语句用法:1、Switch语句只能用于整数类型,枚举类型和String类型,不能用于浮点数类型和布尔类型;2、每个case语句后面必须跟着一个break语句,以防止执行其他case的代码块,没有break语句,将会继续执行下一个case的代码块;3、可以在一个case语句中匹配多个值,使用逗号分隔;4、Switch语句中的default代码块是可选的等等。

1071

2023.09.21

Java switch的用法
Java switch的用法

Java中的switch语句用于根据不同的条件执行不同的代码块。想了解更多switch的相关内容,可以阅读本专题下面的文章。

1457

2024.03.13

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

20

2026.11.12

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

20

2026.11.12

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

20

2026.11.12

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

120

2026.11.06

Postman请求头Headers怎么设置
Postman请求头Headers怎么设置

围绕Postman HTTP请求头配置展开,讲解Headers选项的具体使用方式,包括Key和Value参数填写、请求头信息添加、常见Header字段设置及请求头修改方法,帮助用户解决接口调试过程中遇到的请求头配置问题。

100

2026.11.06

Postman接口请求发送教程
Postman接口请求发送教程

详细介绍Postman接口请求的创建与发送方法,涵盖GET和POST请求、URL配置、请求参数、Headers请求头、Body请求体设置以及响应结果查看,帮助用户掌握Postman接口请求的完整操作流程。

100

2026.11.06

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

80

2026.11.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn