php抓取网页body内容,并过滤网页标签
php只抓取网页文字内容,并过滤其标签,说干就干,开始!
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 | <?php function curl_request ( $url , $post = '' , $cookie = '' , $returnCookie = 0 ) { $ua = $ua == '' ? $_SERVER [ 'HTTP_USER_AGENT' ]: 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)' ; $curl = curl_init ( ) ; curl_setopt ( $curl , CURLOPT_URL , $url ) ; curl_setopt ( $curl , CURLOPT_USERAGENT , $ua ) ; curl_setopt ( $curl , CURLOPT_FOLLOWLOCATION , 1 ) ; curl_setopt ( $curl , CURLOPT_AUTOREFERER , 1 ) ; curl_setopt ( $curl , CURLOPT_REFERER , "https://www.baidu.com" ) ; if ( $post ) { curl_setopt ( $curl , CURLOPT_POST , 1 ) ; curl_setopt ( $curl , CURLOPT_POSTFIELDS , http_build_query ( $post ) ) ; } if ( $cookie ) { curl_setopt ( $curl , CURLOPT_COOKIE , $cookie ) ; } curl_setopt( $curl , CURLOPT_SSL_VERIFYPEER, false); curl_setopt( $curl , CURLOPT_SSL_VERIFYHOST, false); curl_setopt ( $curl , CURLOPT_HEADER , $returnCookie ) ; curl_setopt ( $curl , CURLOPT_TIMEOUT , 10 ) ; curl_setopt ( $curl , CURLOPT_RETURNTRANSFER , 1 ) ; $data = curl_exec ( $curl ) ; if ( curl_errno ( $curl ) ) { return curl_error ( $curl ) ; } curl_close ( $curl ) ; if ( $returnCookie ) { list ( $header , $body ) = explode ( "\r\n\r\n" , $data , 2 ) ; preg_match_all ( "/Set\-Cookie:([^;]*);/" , $header , $matches ) ; $info [ 'cookie' ] = substr ( $matches [ 1 ] [ 0 ] , 1 ) ; $info [ 'content' ] = $body ; return $info ; } else { //return $data ; $data =mb_convert_encoding( $data , 'UTF-8' , 'UTF-8,GBK,GB2312,BIG5' ); preg_match( "/<body.*?>(.*?)<\/body>/is" , $data , $match ); $str = trim( $match [1]); $html = strip_tags ( $str ); $html_len = mb_strlen( $html , 'UTF-8' ); $html = mb_substr( $html , 0, strlen ( $html ), 'UTF-8' ); $search = array ( " " , " " , "\n" , "\r" , "\t" ); $replace = array ( "" , "" , "" , "" , "" ); echo str_replace ( $search , $replace , $html ); } } curl_request ( $url , $post = '' , $cookie = '' , $returnCookie = 0 ); ?> |
千行代码,Bug何处藏。 纵使上线又怎样,朝令改,夕断肠。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· AI技术革命,工作效率10个最佳AI工具
2019-07-07 JS获取访客IP进行自动跳转