随笔分类 - 从入门到入狱的爬虫
摘要：1 scrapy介绍 # 前面学的都是模块，做专业的爬虫，可以使用框架 (django:web) scrapy:爬虫框架 -做爬虫用的东西，都封装好了，只需要在固定的位置写固定的代码即可 # scrapy 号称爬虫界的djagno -django 大而全，做web相关的它都用 -scrapy 大而全
阅读全文
摘要：1 css选择器 bs4 可以通过遍历，搜索，css选择器选择标签 from bs4 import BeautifulSoup html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p id="my
阅读全文
摘要：1 爬虫介绍 # 爬虫：spider，网络蜘蛛 # 本质原理： -现在所有的软件原理：大部分都是基于http请求发送和获取数据的 -pc端的网页 -移动端app -模拟发送http请求，从别人的服务端获取数据 -绕过反扒：不同程序反扒措施不一样，比较复杂 # 爬虫原理 -发送http请求【reque
阅读全文
