讲师中心 微信公众号
AI工具推荐 视频效率加速

K8s怎么排查CRI接口连接超时导致Kubelet挂掉

夏伟同学_5648

夏伟同学_5648

发布时间:2026-10-10 10:56:30

|

907人浏览过

|

来源于php中文网

原创

CRI连接超时导致节点NotReady,需依次验证kubelet状态与日志、CRI套接字路径及权限、containerd服务存活与配置兼容性、sandbox残留及cgroup driver一致性。

k8s怎么排查cri接口连接超时导致kubelet挂掉

当Kubelet因CRI接口连接超时而反复崩溃或无法上报节点状态,表现为节点NotReady、Pod卡在ContainerCreating、kubelet日志中高频出现“context deadline exceeded”或“failed to connect to runtime”时,必须立即定位CRI通信链路中的阻塞点。

确认kubelet是否真的因CRI超时挂掉

先验证问题现象是否匹配:执行 systemctl status kubelet,若看到 Active: inactive (dead) 或频繁 restart,再运行 journalctl -u kubelet -n 50 --no-pager | grep -i "deadline\|timeout\|connect\|cri"。如果输出中反复出现 context deadline exceeded while connecting to runtime 或 failed to dial unix:///run/containerd/containerd.sock,说明CRI连接超时是直接诱因。

注意:仅凭 kubectl get nodes 显示 NotReady 不足以断定是CRI问题——也可能是kubelet进程还在跑但心跳中断。必须看日志里有没有明确的CRI连接失败记录。

检查CRI套接字路径与实际服务是否对齐

第一步:查kubelet启动时指定的CRI endpoint:

ps aux | grep kubelet | grep -o 'container-runtime-endpoint=[^[:space:]]*'

常见返回如 container-runtime-endpoint=unix:///run/containerd/containerd.sock。这个路径必须和实际运行的容器运行时监听路径完全一致。

第二步:确认该套接字文件存在且权限可读:

ls -l /run/containerd/containerd.sock

若返回 No such file or directory,说明containerd根本没启动,或配置了其他套接字路径;若返回权限为 srw-rw---- 但属组不是 root 或 containerd,kubelet可能因权限不足被拒绝访问——【kubelet默认以root身份运行,必须确保其对.sock文件有读写权限】。

第三步:用crictl直连测试(绕过kubelet):

sudo crictl -r unix:///run/containerd/containerd.sock info

成功返回JSON表示CRI层就绪;若报 failed to connect,说明containerd进程未监听该路径;若报 permission denied,说明SELinux/AppArmor策略拦截或文件权限错误。

排查containerd服务是否存活且响应正常

方法一:检查服务状态与进程

sudo systemctl status containerd

重点看 Active: 是否为 active (running),以及 Main PID 是否有有效数值。若显示 inactive (dead),直接执行 sudo systemctl start containerd 并观察是否秒退。

方法二:查看containerd最近崩溃线索

sudo journalctl -u containerd --since "5 minutes ago" | grep -E "(panic|fatal|oom|failed|exit)"

磁盘满是最常见原因:containerd无法写入/var/lib/containerd会导致初始化失败,日志中会出现 failed to write metadata 或 no space left on device。此时需清理镜像、日志或临时文件。

方法三:验证containerd配置是否兼容当前内核

升级系统后若启用cgroup v2,而/etc/containerd/config.toml中仍保留 [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options] 下的 SystemdCgroup = true,就会导致runtime无法启动——因为cgroup v2不支持systemd driver。此时需将该值改为 false 并重启containerd。

检查sandbox残留与cgroup驱动冲突

第一步:确认kubelet与containerd使用的cgroup driver是否一致

查kubelet配置:ps aux | grep kubelet | grep -o 'cgroup-driver=[^[:space:]]*',常见值为 cgroup-driver=systemd 或 cgroup-driver=cgroupfs。

查containerd配置:sudo sed -n '/\[plugins\.\"io\.containerd\.grpc\.v1\.cri\"\]/,/\[.*\]/ {/SystemdCgroup/p;}' /etc/containerd/config.toml。若kubelet用 systemd 而containerd配置中 SystemdCgroup = false,则必然超时。

第二步:强制清理僵死sandbox(仅当重启containerd后仍卡在CreatePodSandbox时使用)

sudo crictl ps -a | grep -E "(Pause|sandbox)" | awk '{print $1}' | xargs -r sudo crictl stop

sudo crictl ps -a | grep -E "(Pause|sandbox)" | awk '{print $1}' | xargs -r sudo crictl rm

这一步会清空所有沙箱容器,包括已退出但状态未同步的旧实例。操作后务必重启kubelet:sudo systemctl restart kubelet。

热门AI工具

更多
切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

相关专题

更多
硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

3108

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

4669

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3729

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

426

2026.01.19

PixTV官网入口地址合集
PixTV官网入口地址合集

本专题汇总了 PixTV AI 一站式视频创作平台的官方入口与使用教程。无需下载软件,浏览器直接访问即可使用。平台将剧本、图像、视频、声音与剪辑整合在“无限画布”中,接入 GPT Image 2.5、Seedance 2.5 等头部模型。本专题整理了从新建画布、角色锚定、分镜拆分到视频生成与导出的完整操作指南,助你快速上手 AI 短剧与漫剧创作。

20

2026.10.10

Kratos框架HTTP与gRPC服务开发教程
Kratos框架HTTP与gRPC服务开发教程

本专题围绕Kratos框架双协议服务开发,涵盖HTTP路由与处理器编写、参数获取、gRPC服务实现与客户端调用、metadata上下文传递、encoding编解码注册、统一响应封装、超时控制与流式响应实现方法。

20

2026.10.10

Kratos框架Protobuf接口定义与代码生成合集
Kratos框架Protobuf接口定义与代码生成合集

本专题讲解Kratos框架接口定义体系,涵盖proto编写规范、proto add/client/server生成命令、http注解路由、validate校验、OpenAPI文档生成、跨服务proto复用与兼容性设计。

0

2026.10.10

C++虚函数怎么定义和调用
C++虚函数怎么定义和调用

C++虚函数是实现运行时多态的重要机制。本专题从virtual关键字的基本用法入手,介绍基类与派生类之间的函数重写、基类指针调用派生类方法,以及动态绑定的执行过程,帮助初学者掌握虚函数的核心语法。

20

2026.10.10

C++类与对象的封装方法教程
C++类与对象的封装方法教程

C++封装是面向对象编程的核心特性之一,通过类将数据与操作数据的函数组织在一起,并利用访问权限控制外部访问。本专题介绍类的定义、成员变量、成员函数以及public、private和protected的使用方法,帮助初学者掌握封装的基本原理。

20

2026.10.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
光速学会docker容器
光速学会docker容器

共33课时 | 3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn