讲师中心 微信公众号
AI工具推荐 视频效率加速

JVM中DirectByteBuffer堆外内存的分配机制与NMT本地内存追踪

千萱同学_8015

千萱同学_8015

发布时间:2026-07-14 08:53:07

|

609人浏览过

|

来源于php中文网

原创

DirectByteBuffer易泄漏因堆外内存由OS分配、Cleaner异步回收且存在延迟;需用NMT定位,配合-XX:MaxDirectMemorySize限流、缓冲池复用及主动clean()防护。

jvm中directbytebuffer堆外内存的分配机制与nmt本地内存追踪

DirectByteBuffer 是 Java 中最常用、也最容易被误用的堆外内存载体。它不占用堆内存,但实际申请的物理内存由操作系统直接提供,且不受 GC 主动管理——分配靠 Unsafe.allocateMemory,回收靠 Cleaner 异步触发,中间存在明显的时间差和不确定性。而 Native Memory Tracking(NMT)正是定位这类“看不见的内存”问题的关键工具。

DirectByteBuffer 的内存分配流程

调用 ByteBuffer.allocateDirect(cap) 时,并非简单返回一个缓冲区对象,而是触发一整套底层操作:

  • 先通过 VM.isDirectMemoryPageAligned() 判断是否需按页对齐;若开启,则实际分配大小 = 请求容量 + 一页大小(如 4KB),确保地址对齐;
  • 调用 Bits.reserveMemory(size, cap) 更新 JVM 内部的堆外内存总用量统计(用于配合 -XX:MaxDirectMemorySize 限流);
  • 真正向 OS 申请内存:unsafe.allocateMemory(size),返回基地址 base;
  • 若需页对齐且 base 不在页边界,则调整 address = base + ps - (base & (ps-1)),使后续访问更高效;
  • 最后绑定一个 Cleaner,其关联的 Deallocator 任务持有该 base 和实际容量,等待对象被 GC 后异步执行 unsafe.freeMemory。

为什么堆外内存容易泄漏

根本原因在于“壳小内存大”与“回收异步”两个特性叠加:

  • DirectByteBuffer 对象本身只占几十字节堆空间,很难触发 GC,尤其在长生命周期对象(如静态缓存、连接池成员)中长期持有引用;
  • Cleaner 的清理依赖 ReferenceHandler 线程轮询虚引用队列,而该线程优先级低、调度不及时,可能延迟数秒甚至更久;
  • 如果应用频繁创建 DirectByteBuffer 且未显式调用 cleaner.clean() 或未及时断开强引用,就会造成堆外内存持续累积;
  • 一旦突破 -XX:MaxDirectMemorySize(默认等于 -Xmx),会抛出 OutOfMemoryError: Direct buffer memory,但此时 OS 层内存已大量占用,可能早被 OOM Killer 杀掉进程。

NMT 如何定位 DirectByteBuffer 泄漏

NMT 不直接显示每个 DirectByteBuffer 实例,但它能反映“Internal”或“Other”模块下异常增长的本地内存,再结合 detail 模式精准归因:

  • 启动时加参数:-XX:NativeMemoryTracking=detail -XX:MaxDirectMemorySize=512m;
  • 运行一段时间后,用 jcmd <pid> VM.native_memory summary 查看总体分布,重点关注 Internal 或 Other 类别是否持续上升;
  • 若怀疑 DirectByteBuffer,切换到 detail 模式并执行:jcmd <pid> VM.native_memory detail.diff,对比两次快照,观察 malloc 调用栈中是否大量出现 DirectByteBuffer.<init> 或 Bits.reserveMemory;
  • 还可配合 jmap -histo:live <pid> 查看堆内 DirectByteBuffer 实例数,若数量稳定但 NMT 中 native 内存持续涨,说明 Cleaner 滞后或未触发,需检查引用链。

实用防护与调优建议

不能只靠 Cleaner 被动回收,必须主动干预:

  • 限制总量:显式设置 -XX:MaxDirectMemorySize=512m,避免失控增长;
  • 复用优先:使用 Netty 的 PooledByteBufAllocator 或自建 DirectBuffer 池,减少频繁分配;
  • 及时释放:对短期使用的 buffer,在业务逻辑结束时手动调用 ((DirectBuffer) buffer).cleaner().clean()(注意 NPE 风险,需判空);
  • 监控联动:将 NMT 报告接入 Prometheus(通过 JMX 或 jcmd 定时采集),设置 Internal 内存增长率告警;
  • 避免滥用:非高性能 IO 场景(如普通 JSON 解析、小文件读写)无需 DirectBuffer,HeapByteBuffer 更安全可控。

热门AI工具

更多
AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

相关专题

更多
堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

5627

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2428

2023.08.10

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

0

2026.10.16

OpenJDK怎么配置Java开发环境
OpenJDK怎么配置Java开发环境

怎样用OpenJDK搭建开发环境?本专题介绍版本选择、下载安装、环境变量配置和编译运行验证,帮助你理清JDK的作用及基本配置流程,并通过简单程序检查环境是否可用,为后续项目开发做好准备。

0

2026.10.16

OpenJDK怎么部署Java应用
OpenJDK怎么部署Java应用

Java项目开发完成后,怎样部署到目标环境并正常运行?本专题介绍OpenJDK应用部署流程,涵盖运行环境准备、版本兼容检查、应用打包、启动参数配置和日志查看,帮助你理清部署前后的操作顺序,减少环境差异造成的运行问题。

0

2026.10.16

Revel框架模板渲染与表单验证
Revel框架模板渲染与表单验证

本专题围绕Revel框架视图层开发,介绍模板语法、变量输出、布局复用、表单提交、参数绑定与验证规则,帮助开发者完成安全规范的页面交互。

0

2026.10.16

Revel框架MVC路由与控制器
Revel框架MVC路由与控制器

本专题聚焦Revel框架MVC核心机制,讲解路由定义、控制器Action、参数绑定、请求响应和反向路由,并结合常见场景梳理接口请求处理流程。

0

2026.10.16

Revel框架入门与安装配置
Revel框架入门与安装配置

本专题从Revel框架环境搭建讲起,系统介绍命令行工具安装、项目创建、目录结构、配置文件及热代码重载,帮助开发者快速完成首个Go Web应用。

0

2026.10.16

Linux 新手先学哪些命令
Linux 新手先学哪些命令

Linux新手命令专题汇集终端基础、文件目录操作、文本查看、软件安装和权限管理等入门文章,帮助按实际任务练习常用命令并建立命令行操作习惯。

0

2026.10.15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn