App端高性能视频解码必须通过FFmpeg联合MediaCodec（Android）或VideoToolbox（iOS）原生插件实现，纯JS、WebView或系统播放器均无法满足4K/RTSP/低延迟等需求。
App端想靠纯JS或<video>组件实现高性能视频解码，基本走不通。系统原生播放器（MediaPlayer/AVPlayer）对H.265、高帧率、4K、RTSP等支持弱，硬解能力也受限于厂商适配。真正能扛住压力的解码，必须落到FFmpeg + MediaCodec（Android）或 VideoToolbox（iOS）这一层，且必须通过原生插件桥接。
为什么不能绕过原生插件直接解码
UniApp的uni.chooseVideo和<video>在App端只是壳，底层调用的是系统API，不暴露解码控制权；WebView里跑ffmpeg.wasm在4K或实时流场景下CPU占用飙升、卡顿严重，实测在中低端安卓机上1080p就掉帧；H5端的playbackRate、seekTo等行为在App端完全失效，不是bug，是架构限制。
Android端必须用MediaCodec硬解+FFmpeg软解协同
纯FFmpeg软解耗电高、发热大，纯MediaCodec又不支持RTSP或私有封装。实际方案是：用FFmpeg做协议解析（RTSP/SIP）、demuxer分离音视频包，再把H.264/H.265帧喂给MediaCodec硬解——这样既保协议兼容性，又压低功耗。
-
configure编译FFmpeg时必须开启--enable-mediacodec和--enable-jni，否则无法调用硬解接口 - SO库要按ABI分开打包：
arm64-v8a和armeabi-v7a缺一不可，漏掉arm64-v8a会导致华为、小米新机型直接崩溃 - Java层创建
MediaCodec前，必须用MediaFormat正确设置csd-0和csd-1（SPS/PPS），否则黑屏——这些数据得从FFmpeg的AVCodecParameters里手动提取并base64编码传过去 - 别用
SurfaceView直接渲染，改用TextureView+Surface绑定，否则旋转、缩放时画面撕裂
iOS端VideoToolbox硬解需绕过AVFoundation封装
AVPlayer内部虽用VideoToolbox，但不开放逐帧控制。要实现低延迟裁剪、倍速、滤镜，就得自己调VTDecompressionSessionCreate，用FFmpeg做demux后把NALU送进去。
- FFmpeg编译必须加
--enable-videotoolbox，且Xcode工程里要显式链接VideoToolbox.framework和CoreMedia.framework - 传入的H.264帧必须是Annex B格式（含start code
0x00000001），而FFmpeg默认输出AVCC格式，得用av_bitstream_filter_init("h264_mp4toannexb")转 - 回调拿到
CVPixelBufferRef后，不能直接丢给UIImageView，要用CVOpenGLESTextureCacheCreateTextureFromImage转成OpenGL纹理，否则GPU带宽吃紧、掉帧 - 导出路径必须用
NSDocumentDirectory，且JS侧读取时得过一遍plus.io.convertLocalFileSystemURL()，否则uni.uploadFile报file not found
插件通信和性能关键点
JS和原生之间传大视频帧或长列表参数，别用JSON序列化——一次1080p帧转base64就是几MB，通信直接卡死。正确做法是：原生侧把解码后的ByteBuffer（Android）或CVPixelBufferRef（iOS）映射为内存地址，JS只传一个唯一textureId或bufferHandle，前端用uni.createCanvasContext或WebGL直接读显存。
- Android端Java层用
getDirectBufferAddress()暴露指针，JS侧通过uni.requireNativePlugin调用时传{ handle: long }即可 - iOS端Objective-C用
CVPixelBufferGetBaseAddressOfPlane取YUV数据起始地址，JS传{ pixelBufferId: number }，原生查表还原 - 所有耗时操作（如FFmpeg命令行裁剪）必须开子线程，主线程只负责调度和状态同步，否则UI冻结
- 插件初始化时务必检查
MediaCodec.listAllCodecs()或VTIsHardwareDecodeSupported()，不支持硬解的设备降级到软解，别硬扛
真正难的不是调通API，而是平衡兼容性、功耗和功能——比如MediaCodec在三星旧机型上会静音，VideoToolbox在iOS 15以下不支持HEVC帧内预测，这些坑都得在插件里写fallback逻辑，没法偷懒。
