摘要: 1. 使用curl,get获得数据2. 使用curl,post获得数据'test_name', 'age' => 1);curl_post("http://www.explame.com/", $arr_post);?>3. 使用代理抓取页面为什么要使用代理进行抓取呢?以google为例吧,如果去抓google的数据,短时间内抓的很频繁的话,你就抓取不到了。google对你的ip地址做限制这个时候,你可以换代理重新抓。4.继续保持本站session的调用在实现用户同步登录的情况下需要共享session,如果要继续保持本站的sess 阅读全文
posted @ 2014-03-18 13:59 scofi 阅读(3203) 评论(0) 推荐(1) 编辑
摘要: 上篇说到我们说到设置file_get_contents超时时间用到了stream_context_create方法,那么这个方法到底是什么呢?查了下资料,stream_context_create创建并返回一个文本数据流并应用各种选项,可用于fopen(),file_get_contents()等过程的超时设置、代理服务器、请求方式、头信息设置的特殊过程。这样看起来功能就强大了,不仅仅可以设置超时时间,还可以设置代理服务器,请求方式和头信息,下面我们就测试下吧:request.php请求页面负责发起请求: 1 'test_name',"content" =& 阅读全文
posted @ 2014-03-18 13:56 scofi 阅读(778) 评论(0) 推荐(0) 编辑
摘要: 早在2010年时候遇到过这样的事情,因为file_get_contents函数造成服务器挂掉的情况,现在觉得很有必要总结下。公司里有经常有这样的业务,需要调用第三方公司提供的HTTP接口,在把接口提供的信息显示到网页上,代码是这样写的:file_get_contents("http://example.com/")。有一天突然接到运维同事的报告,说是服务器挂了,查出原因说是因为file_get_contents函数造成的,那么为什么一个函数会把服务器给搞挂掉呢?经过详细的查询发现第三方公司提供接口已经坏掉了,就是因为接口坏掉了,才导致服务器挂掉。问题分析如下: 我们代码是“ 阅读全文
posted @ 2014-03-18 13:54 scofi 阅读(18177) 评论(3) 推荐(2) 编辑