摘要: requests模块 - 基于如下5点展开requests模块的学习 什么是requests模块 requests模块是python中原生的基于网络请求的模块,其主要作用是用来模拟浏览器发起请求。功能强大,用法简洁高效。在爬虫领域中占据着半壁江山的地位。 为什么要使用requests模块 因为在使用 阅读全文
posted @ 2018-12-03 15:46 foremost 阅读(396) 评论(0) 推荐(0) 编辑
摘要: 一.urllib库 概念:urllib是Python自带的一个用于爬虫的库,其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse,在Python2中是urllib和urllib2。 使用流程: 指定url 基于u 阅读全文
posted @ 2018-12-03 14:09 foremost 阅读(328) 评论(0) 推荐(0) 编辑
摘要: 什么是爬虫 爬虫就是通过编写程序模拟浏览器上网,然后让其去互联网上抓取数据的过程。 哪些语言可以实现爬虫 1.php:可以实现爬虫。php被号称是全世界最优美的语言(当然是其自己号称的,就是王婆卖瓜的意思),但是php在实现爬虫中支持多线程和多进程方面做的不好。 2.java:可以实现爬虫。java 阅读全文
posted @ 2018-12-03 10:41 foremost 阅读(4288) 评论(0) 推荐(0) 编辑