随笔分类 -  python爬虫学习

摘要:刚才要修改一个表格的数据,在网上搜了下方法,做出以下总结: 简单的取出数据以及写入数据 阅读全文
posted @ 2019-09-02 19:08 _Ennio 阅读(920) 评论(0) 推荐(0)
摘要:提交这种用boundary分隔的表单数据时,有两种方法,一种是以传入files参数,另一种是传入data参数,data参数需要自己用boundary来分隔为指定的形式,而files参数则以元组的形式传入,代码如下 阅读全文
posted @ 2019-05-23 16:52 _Ennio 阅读(3351) 评论(0) 推荐(0)
摘要:学校最近让看什么网课,智慧树网站的,太无聊了,写个脚本刷下,这里是用Python+selenium实现的,也可以用js脚本,更简单,但是我这里刚好最近在学python,就顺便练习下,说下有几个点, 1.这里为了练习顺便把登陆功能也做了,注意有一个自动联想元素,需要定位并点击它 2.有两个弹窗,只解决 阅读全文
posted @ 2019-05-12 17:03 _Ennio 阅读(5448) 评论(0) 推荐(0)
摘要:1.使用BeautifulSoup初始化用requests获取到的html文本时,有时候会出现乱码现象,只需要指定response.encoding = 'utf-8' 即可 2.有时候使用selenium定位元素时,定位代码没有问题,但是提示定位不到,这是因为页面中存在多个iframe标签,相当于 阅读全文
posted @ 2019-04-28 16:26 _Ennio 阅读(176) 评论(0) 推荐(0)
摘要:记录一下,爬去ajax数据时,需要注意一下是post方法还是get方法,get方法就正常做就行了,但是post方法的话,需要这样,如下 阅读全文
posted @ 2019-04-06 10:53 _Ennio 阅读(1588) 评论(0) 推荐(0)
摘要:更新。。。。。这个动态网页其实直接抓取ajax请求就可以了,很简单,我之前想复杂了,虽然也实现了,但是效率极低,不过没关系,就当作是对Selenium的一次学习吧 1.最近在爬取一个动态网页,其中为了更新页面,需要选择不同的选项,即对下拉框进行处理,这里的下拉框是用input实现的假的下拉框,但是他 阅读全文
posted @ 2019-04-01 12:34 _Ennio 阅读(1256) 评论(0) 推荐(0)
摘要:用到了requests 和BeautifulSoup库 ,安装使用pip命令在cmd进行安装就行,这里都是先进行了解,之后再做几个小实例进行练习 先解释下爬虫,python爬虫可以通过获取网页的html代码,对其进行分析,得到可见和不可见的数据,也可以像网络发送请求,执行相应的操作,概括来说就这样 阅读全文
posted @ 2019-03-24 20:59 _Ennio 阅读(352) 评论(0) 推荐(0)