asyncio + Protocol Buffers 是最稳的起点:复用 protoc 序列化,专注异步通信层;需手动处理长度头防粘包,禁用 time.sleep(),gRPC 必须用 grpc.aio 模块并显式设超时。

asyncio + Protocol Buffers 是最稳的起点
直接用 asyncio 搭配 protobuf 手写 RPC 框架,比硬啃 gRPC 内部机制快得多,也比自己设计二进制协议更安全。关键不是“从零造轮子”,而是复用 protoc 生成的序列化逻辑,只专注异步通信层。
常见错误是把 asyncio.StreamReader/StreamReader 当成黑盒,不处理粘包和消息边界——protobuf 本身不带长度头,必须自己加。
- 服务端读取时,先读 4 字节网络字节序长度头,再按该长度读完整 protobuf payload
- 客户端发送前,必须用
struct.pack("!I", len(data))打包长度头 - 不要在协程里混用
time.sleep(),它会阻塞整个事件循环;改用await asyncio.sleep()
gRPC 的 async stub 不能直接 await service method
很多人写 await stub.SayHello(req) 报错,其实是因为没启用异步模式:gRPC Python 默认生成的是同步 stub,必须显式用 grpc.aio 子模块。
正确做法是生成代码时加 --python_out 和 --grpc_python_out,但运行时必须导入 xxx_pb2_grpc 中的 GreeterStub 对应的 GreeterStub(注意是 grpc.aio 版本),而不是普通 grpc 版本。
立即学习“Python免费学习笔记(深入)”;
- 服务端要继承
GreeterServicer,但启动必须用grpc.aio.server() - 客户端实例化 stub 时,channel 必须是
grpc.aio.insecure_channel()或secure_channel() - 超时必须显式传
timeout=10,否则默认无超时,协程可能永久挂起
RPyC 的 async_() 包装器容易误用为“自动并发”
rpyc.async_(obj) 只是让单次调用不阻塞,不是并发执行器。它返回一个 AsyncResult,但如果你连续调用三次再逐个 .wait(),仍是串行等待。
真正并发需要显式并发调度,比如用 asyncio.gather() 或手动创建 task:
async def batch_call():
async_sleep = rpyc.async_(conn.modules.time.sleep)
tasks = [async_sleep(1), async_sleep(2), async_sleep(1)]
await asyncio.gather(*tasks) # 这才并行- 不要对同一个远程连接反复调用
rpyc.async_()后立刻.wait(),这和同步调用性能几乎一样 -
AsyncResult不支持await,必须用.value或.wait()获取结果 - 远程对象若含状态(如文件句柄、数据库连接),异步并发调用可能引发竞态,需服务端自行加锁
RabbitMQ 实现 RPC 时 reply_to + correlation_id 必须严格配对
用 RabbitMQ 做异步 RPC,核心不是发消息,而是收响应。90% 的失败案例出在客户端没监听自己的 reply_to 队列,或服务端没把 correlation_id 原样回传。
典型错误:客户端发请求时设了 properties.reply_to="rpc_queue",但服务端收到后直接用 channel.basic_publish(exchange="", routing_key=props.reply_to, ...),却忘了设置 properties.correlation_id = props.correlation_id —— 导致客户端无法匹配响应。
- 客户端必须用
channel.queue_declare(exclusive=True)创建临时队列,并将队列名填入reply_to - 服务端响应时,
basic_publish的properties必须包含correlation_id和reply_to(后者用于定位客户端队列) - 不要依赖 RabbitMQ 的自动 ACK;RPC 场景建议用
auto_ack=False+ 手动basic_ack(),避免响应丢失后重发乱序
真正难的不是“怎么发起异步调用”,而是“怎么确保一次调用必然有且仅有一个响应”。无论选 gRPC、RPyC 还是 RabbitMQ,都要在协议层守住这个契约——长度头、correlation_id、stub 类型、async wrapper 的语义,全是为这件事服务的。


















