ToClaw提供四种自动填表技术路径:一、Qwen2.5-VL-7B端到端OCR识别与结构化填表;二、Tesseract OCR结合OpenClaw录制的轻量方案;三、百川2-13B语义驱动跨页表单填充;四、龙虾Claw手机拍照直连PC工作流。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如果您需要将纸质表格、图片或PDF中的数据快速录入到电子表单或Excel中,却受限于手动复制粘贴效率低、易出错等问题,则可能是由于缺乏端到端的OCR识别与结构化录入联动机制。以下是实现ToClaw自动填表的多种技术路径:
一、基于Qwen2.5-VL-7B多模态模型的端到端识别填表
该方法利用Qwen2.5-VL-7B-Instruct-GPTQ模型对扫描件或手机拍摄的表格图像进行图文联合理解,直接定位字段语义并输出结构化键值对,无需人工标注坐标或编写XPath规则。
1、使用手机或扫描仪获取纸质表格高清图像,保存为PNG或JPEG格式。
2、在ToClaw界面中点击“新建智能任务”,选择“多模态表格识别填表”模板。
3、上传图像后,系统自动调用本地部署的Qwen2.5-VL-7B服务,返回字段识别结果,如{"姓名": "张三", "身份证号": "110101199001011234", "入职日期": "2026-03-15"}。
4、在字段映射面板中,将识别出的字段拖拽绑定至目标Excel列或网页表单输入框。
5、点击“执行”,ToClaw自动启动浏览器/Excel进程,按顺序填充并保存。
二、结合Tesseract OCR与OpenClaw流程录制的轻量级方案
适用于无GPU设备或需快速部署的场景,通过传统OCR引擎提取文本,再由OpenClaw录制动作完成结构化录入,兼顾稳定性与低资源消耗。
1、安装pytesseract及对应语言包:pip install pytesseract && sudo apt-get install tesseract-ocr-chi-sim。
2、在ToClaw中启用“OCR预处理插件”,设置图像二值化阈值与DPI增强参数。
3、导入待处理图片,运行OCR识别,生成带坐标的文本块列表,例如[{"text": "联系电话", "x": 120, "y": 85, "width": 80, "height": 22}]。
4、开启OpenClaw录制模式,在Excel中手动填写第一行数据,工具同步记录单元格坐标与粘贴动作。
5、将OCR输出结果按行列索引匹配至录制脚本的数据源变量,启动批量执行。
三、对接百川2-13B模型实现语义驱动的跨页表单填充
针对医疗问卷、合同审批等含逻辑跳转、条件显示字段的复杂表单,该方法通过大语言模型解析页面语义,动态决策下一步操作路径,避免因元素ID变更导致的脚本失效。
1、确保百川2-13B-4bits模型服务已在本地运行,API端点为http://localhost:8000/v1。
2、在ToClaw配置中将模型提供商设为“Custom”,模型ID填写baichuan2-13b-chat,启用“语义导航”开关。
3、加载目标网页表单,触发page_analyzer技能,获取DOM结构摘要与字段依赖关系图谱。
4、输入自然语言指令,例如:“若‘是否有过敏史’选项为‘是’,则展开并填写下方‘过敏药物名称’输入框”。
5、ToClaw将指令分解为原子动作序列,控制浏览器点击、输入、等待加载并提交。
四、使用龙虾Claw手机拍照直连PC填表工作流
该方案打通移动端采集与桌面端录入链路,支持微信/钉钉截图、相册图片一键导入,适合财务、行政等需频繁处理零散票据的岗位。
1、在手机端安装龙虾Claw客户端,开启“拍照即识别”权限。
2、对准纸质表格拍摄,自动触发图像增强(去阴影、倾斜矫正、边缘锐化)。
3、识别完成后,点击“同步至PC”,数据经加密通道推送至已登录的ToClaw桌面端。
4、桌面端弹出预览窗口,用户可手动修正误识别字段,确认后自动填充至指定Excel文件Sheet1的下一行空位。
5、连续拍摄多张表格时,系统按时间戳顺序排队处理,不阻塞后续拍摄操作。


















