摘要: 上面2篇文都简明了多进程中一些需要注意的地方,这次用多进程配合curl_mulit_*来做新浪微博的采集。 先把知识点和值得注意的坑列出 主要的执行代码如下: ps:当url多的时候,redis的hMset会报错 send 太大的数据。这里就不解决了,不影响正常使用。 整个实例下载:http://f 阅读全文
posted @ 2016-07-08 09:56 睡着的糖葫芦 阅读(1109) 评论(0) 推荐(1) 编辑
摘要: 多进程中数据独立,变量无法共享,所以可以使用shmop共享内存实现(cli模式不支持APC扩展),或者存储到redis这种nosql中。 下面实例,开10个进程结合redis集合,做一些简单的任务处理。 上面代码 开启10个进程来处理 redis中 webpub集合中的任务,这里的任务比较简单就是生 阅读全文
posted @ 2016-07-08 09:25 睡着的糖葫芦 阅读(333) 评论(0) 推荐(0) 编辑