随笔分类 - python网络爬虫

Python爬虫知识点（bs/find_all/正则表达式）

摘要：网站选择格式输出 BeautifulSoup库 tag.string 返回的是标签内的字符串内容，如果标签内只有一个字符串，那么 tag.string 就会返回这个字符串；如果标签内还包含其他标签，那么 tag.string 就可能返回 None。 tag.text 返回的是标签内所有字符串内容的阅读全文

posted @ 2023-12-24 12:52 Yohoc 阅读(35) 评论(0) 推荐(0) 编辑

Python的Requests库与网页爬取

摘要：requests库的几种方法其他几个方法内部实际都调用了requests.request()方法 Response对象的属性首先要使用r.status_code判断连接是否成功。 Request库的异常爬取网页的通用代码需要处理异常，使爬取网页变得更有效、可靠、稳定。 HTTP 无状态：第一阅读全文

posted @ 2023-12-19 19:26 Yohoc 阅读(25) 评论(0) 推荐(0) 编辑