Linux下利用Shell使PHP并发采集淘宝产品
摘要:
上次项目中用到>此方法有一个缺点,就是执行效率问题.一个商品采集平均需要0.8秒.那10000个商品采集完需要2个半小时.首先想到的解决办法是并发.但是PHP不支持并发(这里是指通过PHP命令执行PHP文件,如果通过apache或nginx等做服务器是可以并发的,是并发访问,不能在程序中实现并发).通过Shell把对php命令推到后台执行,以达到并发的效果.整体思路: 1.在Shell中连接数据库,取出需要更新的产品 2.Shell中对数据进行循环,把商品id,price,url传递给PHP执行,将执行过程推到后台 3.每循环20条使程序暂停5秒,达到控制并发数的目的 4.php得到i. 阅读全文
posted @ 2014-03-21 14:44 风飘无痕 阅读(1478) 评论(0) 推荐(0) 编辑