[Sw] 使用 Swoole Server task 处理大数据量异步任务时注意
关于 Buffered Query 和 Unbuffered Query:http://www.php.net/manual/zh/mysqlinfo.concepts.buffering.php
对于结果集小的查询,一般就 Buffered Query 一次取回;
对于结果集很大的查询,可以使用 Unbuffered Query 来遍历一条条 fetch,避免撑爆客户端内存;
对于超大结果集,fetch 会持续不断的进行,如果频次高,且持续时间非常长的情况下,有可能耗尽数据库服务器网络带宽。
解决方案:
1. 高频投递,少量处理,(高频次的分页查询),做到了保持效率的情况下减少数据库服务器压力。
2. 如果不需要与 TaskWorker 通讯,那么 onTask 不要使用 return 返回数据,减少消耗。
3. 使用 task( ) 投递频率 ($this->blockNum) 必须小于 onTask 进程数,可以程序来限制。
比方说 taskWorker 是 50,任务投递次数累加为 deliverNo,完成的任务计数 $serv->atomic->get()
那么在投递之后判断,完成数 + 允许投递数 < 投递总数,说明投递次数过多了,暂停一会儿,保证任务进程不是满负荷工作。
while (($serv->atomic->get() + $this->blockNum) < $deliverNo) { echo "正在执行的任务数 {$this->blockNum}, sleep {$this->sleep} s"; sleep($this->sleep); }