讲师中心 微信公众号
AI工具推荐 视频效率加速

为什么 @lru_cache 会导致深度递归栈溢出,而手动 DP 数组不会?

秋杰酱_2246

秋杰酱_2246

发布时间:2026-02-07 16:19:54

|

789人浏览过

|

来源于php中文网

原创

为什么 @lru_cache 会导致深度递归栈溢出,而手动 DP 数组不会?

python 中 `@lru_cache` 的底层 c 实现会额外消耗 c 栈空间,导致即使设置极高 `recursionlimit` 仍触发系统级栈溢出;而纯 python 递归(如手动 dp)在 python 3.11+ 已通过内联调用优化,几乎不占用 c 栈,因此能安全处理数十万层递归。

在解决树形动态规划问题(例如 CSES “Subordinates”)时,你可能会自然地写出带记忆化的递归 DFS,并尝试用 @lru_cache(None) 加速。但当树退化为一条链(即最坏情况:200,000 层深度),程序却意外崩溃:

Process finished with exit code -1073741571 (0xC00000FD)

这是 Windows 下典型的 C 栈溢出(stack overflow) 错误 —— 并非 Python 的 RecursionError,而是操作系统强制终止进程。关键原因在于:@lru_cache 是用 C 实现的(见 CPython 源码),每次缓存命中或未命中都会引入一层 C 函数调用帧。你的 dfs(v) 调用 → lru_cache_wrapper → dfs(v) 的递归链,实际是 Python + C 混合递归,C 栈深度随递归线性增长。

相比之下,手动 DP 版本:

dp = [0] * n
def dfs(v):
    for u in graph[v]:
        dfs(u)
        dp[v] += dp[u] + 1

仅涉及纯 Python 函数调用。自 Python 3.11 起,解释器引入了 内联 Python 调用(inlined Python function calls) 优化:当一个 Python 函数直接调用另一个 Python 函数时,不再经过 C 层的通用调用机制(_PyEval_EvalFrameDefault),从而几乎不消耗 C 栈空间。这意味着:即使递归 200,000 层,C 栈深度可能仅维持在个位数,完全避开系统栈限制。

✅ 验证:将 n = 2_000_000(10 倍规模)传入手动 DP 版本,在主流环境下仍稳定运行;而 @lru_cache 版本在 n > ~10_000 时就极可能崩溃(取决于系统默认 C 栈大小,通常仅 1–8 MB,对应数千至数万 C 帧)。

Python 3.12 的行为变化

Python 3.12 进一步明确了这一边界:sys.setrecursionlimit() 仅约束 Python 字节码层面的递归深度,不再影响 C 扩展的递归。因此:

windows-shell
windows-shell

Windows 命令行编码与兼容规范。涵盖 GBK/UTF-8 编码、PowerShell/pwsh 互操作、Python/Node.js、Git 配置及代码生成规则。适用于 Windows 10/11 + MSYS2/Git Bash 环境下的所有命令行操作。

下载
  • @lru_cache 版本在 3.12 中会抛出清晰的 RecursionError(而非崩溃),因为 C 层递归被内部机制主动截断;
  • 手动 DP 版本依然畅通无阻,得益于内联优化。

解决方案与最佳实践

✅ 推荐:避免在超深递归中使用 @lru_cache

对树形 DP 等可能深度递归的场景,优先采用显式状态数组(如 dp[])或迭代 DFS/BFS:

# 迭代版(拓扑序 + 自底向上)
from collections import deque
order = []
stack = [0]
while stack:
    v = stack.pop()
    order.append(v)
    for u in graph[v]:
        stack.append(u)
# 反向更新 dp
dp = [0] * n
for v in reversed(order):
    for u in graph[v]:
        dp[v] += dp[u] + 1

⚠️ 替代方案(仅用于学习/调试)

若坚持用记忆化,可替换为纯 Python 实现的简易缓存(无 C 开销):

def simple_cache(_):
    def decorator(func):
        memo = {}
        def wrapper(x):
            if x not in memo:
                memo[x] = func(x)
            return memo[x]
        return wrapper
    return decorator

@simple_cache(None)
def dfs(v):
    # ... same logic

? 注意:此实现不支持多参数、kwargs 或复杂键类型,仅作原理演示。生产环境请优先用显式 DP 或迭代。

? 不推荐的“黑科技”

虽然可通过 del _functools._lru_cache_wrapper 强制回退到 Python 版 lru_cache,或修改标准库源码,但这类 hack 破坏可移植性与可维护性,且可能引发兼容性问题,应严格避免。

总结

方案 递归类型 C 栈消耗 Python 3.11 行为 Python 3.12 行为
@lru_cache Python + C 混合 高(线性增长) 系统级栈溢出(崩溃) RecursionError(受保护)
手动 dp[] 纯 Python 极低(内联优化) 稳定运行 稳定运行
迭代 DP 无递归 零 最安全 最安全

根本原则:对可预见的超深递归(>10⁴ 层),放弃装饰器记忆化,拥抱显式状态管理或迭代算法。 这不仅是 Python 的工程实践,更是理解解释器底层行为的关键一课。

热门AI工具

更多
Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

6087

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2588

2023.08.10

function是什么
function是什么

function是函数的意思,是一段具有特定功能的可重复使用的代码块,是程序的基本组成单元之一,可以接受输入参数,执行特定的操作,并返回结果。本专题为大家提供function是什么的相关的文章、下载、课程内容,供大家免费下载体验。

3240

2023.08.04

js函数function用法
js函数function用法

js函数function用法有:1、声明函数;2、调用函数;3、函数参数;4、函数返回值;5、匿名函数;6、函数作为参数;7、函数作用域;8、递归函数。本专题提供js函数function用法的相关文章内容,大家可以免费阅读。

534

2023.10.07

overflow什么意思
overflow什么意思

overflow是一个用于控制元素溢出内容的属性,当元素的内容超出其指定的尺寸时,overflow属性可以决定如何处理这些溢出的内容。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3200

2024.08.15

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3279

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2858

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

1508

2023.08.01

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

40

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn