python爬虫相关

Posted on 2019-04-01 17:23  风行天下-2080  阅读(144)  评论(0编辑  收藏  举报

一、Python re模块的基本用法:

https://blog.csdn.net/chenmozhe22/article/details/80601971

二、爬取网页图片

https://www.cnblogs.com/jiayongji/p/7118934.html        爬取百度贴吧图片

其中指定爬虫的下载图片位置,注意为反斜杠,

def batchDownloadJPGs(imgUrls, path='D:/test/'):

爬取百度搜索图片

https://blog.csdn.net/qq_40774175/article/details/81273198

三、 第一个Python爬虫——谈心得

https://blog.csdn.net/qq_32740675/article/details/79720367     (没试用)

https://www.cnblogs.com/ranxf/p/7808537.html          (requests模块讲解)

https://blog.csdn.net/qq_36119192/article/details/82952442            (Python中的BeautifulSoup模块)

https://blog.csdn.net/suibianshen2012/article/details/61915222         (获取标签<a>中的内容) 

如果,标签<a>中含有其他标签,比如<em>..</em>,此时要提取<a>中的数据,需要用k.get_text()

四、爬取movie  

 https://blog.csdn.net/uupton/article/details/82821297#comments                

 五、网页登陆

https://www.cnblogs.com/masako/p/7403293.html

 

 

————————————————————————

 

Copyright © 2024 风行天下-2080
Powered by .NET 8.0 on Kubernetes