CURL的模拟登录和抓取页面
<?php $curl = curl_init();// 初始化 // 准备提交的表单数据之账号和密码。(这个是根据表单选项来的) $data = "_username=604989282@qq.com&_password=6481485" ; // 这个配置是为了防盗链, curl_setopt($curl,CURLOPT_REFERER,"http://www.ydma.cn/"); // 基本配置 curl_setopt($curl, CURLOPT_URL, 'http://www.ydma.cn/login/check');// 网址 curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);// 不输出 curl_setopt($curl, CURLOPT_POST, 1);// POST方式 curl_setopt($curl, CURLOPT_POSTFIELDS,$data);// POST数据 curl_setopt($curl, CURLOPT_HTTPHEADER, array(// 头部信息类型 "content-type: application/x-www-form-urlencoded", )); // Cookie相关设置 date_default_timezone_set("PRC"); curl_setopt($curl,CURLOPT_COOKIESESSION,TRUE);// 开启cookie和session curl_setopt($curl,CURLOPT_COOKIEFILE,"cookiefile");// 存储名称 curl_setopt($curl,CURLOPT_COOKIEJAR,"cookiefile");// 存储名称 curl_setopt($curl,CURLOPT_COOKIE,session_name()."=".session_id());// 存储的是session_name()和session_id() curl_setopt($curl,CURLOPT_FOLLOWLOCATION,1);// 设置可以跳转 curl_setopt($curl,CURLOPT_HEADER,0);// 不去打印头部信息 curl_setopt($curl,CURLOPT_REFERER,"http://www.ydma.cn/"); // 设置一下跳转页面 // curl_setopt($curl,CURLOPT_URL,"http://www.ydma.cn/user/52897/learn"); curl_setopt($curl,CURLOPT_URL,"http://www.ydma.cn/course/137/preview/lesson/3961"); curl_setopt($curl,CURLOPT_POST,0); curl_setopt($curl,CURLOPT_HTTPHEADER,array("Content-type:text/html")); curl_setopt($curl,CURLOPT_REFERER,"http://www.ydma.cn/"); $res = curl_exec($curl); curl_close($curl); // echo str_replace('src="/files', 'src="http://www.ydma.cn/files', $res); // echo substr_replace($res,"<base href='http://www.ydma.cn/'>",strpos("<head>",$res),0); echo str_replace("<head>","<head><base href='http://www.ydma.cn/'>",$res); // echo $res;
页面来源:https://www.jianshu.com/p/682ddef25f55
测试一个网站,因为需要验证码没获取到信息
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· 没有源码,如何修改代码逻辑?
· 全程不用写代码,我用AI程序员写了一个飞机大战
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 记一次.NET内存居高不下排查解决与启示
· DeepSeek 开源周回顾「GitHub 热点速览」
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了