php后台处理大规模运算，如何处理？

Question

项目中要使用php运算大容量数据。时间不一定。

使用什么技术可以让程序在后台运算，还不影响用户访问网站？

Answer 1

入队列，简单点用redis lpush，开一个进程消费队列处理逻辑

Answer 2

我们是这样做的，大致两种方法

1.前台页面利用ajax请求一个php程序，该php程序再利用curl http(这里http 设置一个timeout 0.5秒) 请求来触发的php的大容量计算程序，timeout 0.5 秒。ajax 请求就可以马上返回，这样不影响用户界面其他功能。 而大数据计算程序，设置一下 ignore_user_abort(); set_time_limit(0); 这样就可以不受干扰一直执行完，执行完后，写一个标示到数据库或者本地文件。然后用户界面 定时几秒 发起ajax请求看那个标示是否完成了，完成就到下一步。

2 前台页面把计算任务做为一个指令写到数据库，然后就不管，采用一个第三方程序或功能做为定时器，定时看数据库里有没有任务指令，有的话，就单独触发大数据计算程序，处理完了和第一个方法一样，用户界面定时ajax检查标示。

如果对实时性要求高的话，ajax 定时检查也可以采用websocket 不过这又需要一个websocket的服务器，就比较啰嗦了。

Answer 3

用workerman或者swoole，然后在cli模式下运行，既有http接口，又可以长时间运行不受限制，最主要的是各项功能都很完善。外部触发可以采用http接口，同样也可以给外部发消息

Answer 4

与 @苏生不惑 说的一样，我这边的项目也是用的Laravel，这种需要后台运算的任务借助了redis的队列，来进行消费，随着开发中不断遇到各种坑，后来就写了一个开源项目 TaskRunner，因为一直自己公司用，所以就没有写文档，这个项目使用Golang开发的一个服务端程序，可以快速并发的消费Redis队列中的任务（命令），支持任务去重以及多channel避免耗时任务执行影响其它重要的任务的执行，感兴趣的话可以参考一下，有时间再完善一下文档。

Answer 5

如果不需要用户触发，可以用cli模式。

Answer 6

是需要用户触发的，

Answer 7

每次任务往MySQL里写个记录，记录任务的状态，通知zeromq或者rabbitmq触发这个大型计算任务，任务的状态用ajax定期查询。