curl模拟多线程抓取网页(优化)
摘要：通过上篇文章清楚了通过curl_multi_*函数可以一次请求多个url,但是也留下了问题，就是结果要等所有数据请求结束一起返回，才能逐个处理数据。优化代码，使先成功请求的url先返回处理结果,而不是等着所有一起返回。 注意：这里相对于上一篇文章的模型，总体请求时间并不会太大改变，也许还会变慢(某个
阅读全文
posted @
2016-06-28 17:17
睡着的糖葫芦
阅读(480)
推荐(0) 编辑
通过curl模拟多线程抓取网页(curl_multi_*)
摘要：curl请求多个url，以前都是使用循环来处理。最近发现可以通过curl_multi_*系列函数来模拟多线程。比对一下，发现如果请求的url只有几个，2种方案耗时差不多，但是url比较多，差距就非常明显了。 先来看下使用for循环的方案: 接下来使用curl_multi_* 一次发送多个url请求
阅读全文
posted @
2016-06-28 17:05
睡着的糖葫芦
阅读(5463)
推荐(1) 编辑
innodb count优化测试
摘要：对于索引优化真的是门课题，先来研究下最平常的问题，innodb引擎下 怎么让count(*)快一点。 首先需要清楚 innodb 默认是对主键建立聚簇索引,如果没有主键，那就是对具有唯一且非空值的索引来代替，如果也没有，innodb内部就会自己维护一个这样的索引。 聚簇索引存的是索引+数据,二级索引
阅读全文
posted @
2016-06-17 13:52
睡着的糖葫芦
阅读(1809)
推荐(0) 编辑
mysql启动参数 skip-grant-tables
摘要：非常有用的mysql启动参数—— --skip-grant-tables。 顾名思义，就是在启动mysql时不启动grant-tables，授权表。有什么用呢？当然是忘记管理员密码后有用。 在mysql.cnf 配置文件中加上skip-grant-tables,然后重启mysql服务 操作方法： 1
阅读全文
posted @
2016-06-14 12:00
睡着的糖葫芦
阅读(13686)
推荐(1) 编辑
php通过反射执行某方法
摘要：简单记录下通过反射来获取某方法的参数，然后利用php内置函数类执行此方法 一个简单的test类 要传入的参数 通过反射类来获取方法来合并参数 执行方法 最后打印得到数组如下，和预想一样
阅读全文
posted @
2016-06-13 15:31
睡着的糖葫芦
阅读(2044)
推荐(0) 编辑
python简单爬虫(一)
摘要：学习python前纠结了下，到底是应该一个个知识点吃透，然后写些小程序。还是应该快速掌握基础语法，快速实践。思考后认为前者这么学习速度真心不高，于是花2天时间看了下python3的语法，虽然很多都不明白，但是带着小项目来学习直接解决问题。在项目中遇到问题，查阅一点点解决，这样很靠谱。 在实现一个最简
阅读全文
posted @
2016-06-12 09:29
睡着的糖葫芦
阅读(330)
推荐(0) 编辑
php性能优化学习笔记
摘要：编写代码 文中提到文件下载：http://files.cnblogs.com/files/loveyouyou616/yh.zip
阅读全文
posted @
2016-06-07 13:31
睡着的糖葫芦
阅读(226)
推荐(0) 编辑
php解决时间超过2038年
摘要：问题 超过2038年的时间 php怎么处理？ 就是2的31次方-1得到2147483647,如果超过了这个值怎么办? 如果还是使用date这个函数会乱掉。 解决方案：使用DateTime类
阅读全文
posted @
2016-06-01 20:40
睡着的糖葫芦
阅读(633)
推荐(0) 编辑
通过http流发送post请求
摘要：一般都是用curl扩展来完成，看了手册的通过stream的方式更加简单。 请求脚本stream.php 接收 stream_api.php 最后打印出['name'=>'jack',......]
阅读全文
posted @
2016-06-01 16:17
睡着的糖葫芦
阅读(1772)
推荐(0) 编辑
