调整缓存策略、启用流式写入、优化线程管理并定期清理缓存，可有效降低LocoySpider内存占用。
如果您在使用LocoySpider进行大规模数据采集时遇到内存占用过高或程序运行缓慢的问题，很可能是由于缓存管理不当导致的资源消耗过大。以下是针对LocoySpider内存优化中缓存管理的具体操作方法：
一、调整对象缓存策略
LocoySpider在抓取过程中会临时存储大量网页解析对象和任务节点，若不加以控制，容易造成内存堆积。通过修改默认缓存机制，可有效降低内存峰值。
1、进入LocoySpider的“设置中心”，选择“高级配置”选项卡。
2、将“页面DOM缓存上限”设置为50MB以内，超出后自动释放最早加载的对象。
3、启用“按需加载DOM树”功能，仅在执行提取规则时构建完整文档结构。
4、关闭“保留已处理URL原始响应体”选项，避免重复存储已解析内容。
二、启用流式数据写入模式
传统方式会在内存中累积所有采集结果后再统一导出，极易引发内存溢出。采用流式写入能边采集边保存，显著减少驻留内存的数据量。
1、在项目导出设置中选择“实时写入数据库”或“逐条追加至CSV文件”。
2、设定每100条记录触发一次磁盘写入，并清空当前内存缓冲区。
使用 ImageMagick 的 convert 和 mogrify 命令进行批量图像处理，支持调整大小、裁剪、水印和格式转换。与 libvips 集成以实现高性能缩略图生成。
3、取消勾选“全部完成后再生成报表”，确保中间结果及时落盘。
三、优化线程与队列管理
过多并发线程会导致缓存队列膨胀，增加GC压力。合理配置任务调度参数可以平衡速度与资源占用。
1、将“最大并发线程数”调整为CPU核心数的1.5倍，例如四核处理器设为6。
2、限制“待处理请求队列长度”不超过2000项，超过则暂停新增任务。
3、开启“空闲自动收缩线程池”功能，在无新任务时逐步回收闲置线程。
四、定期手动清理运行时缓存
长时间运行的任务可能积累无效引用，主动调用清理接口有助于维持稳定内存状态。
1、在脚本中插入定时器，每隔10分钟执行一次清理指令。
2、调用API函数ClearRuntimeCache()释放临时变量和XPath解析上下文。
3、强制执行.NET垃圾回收：GC.Collect()，建议配合低优先级调用以减少性能波动。
