随笔分类 - python爬虫
使用python爬虫分析网络数据
摘要：使用scrapy框架做赶集网爬虫 一、安装 首先scrapy的安装之前需要安装这个模块：wheel、lxml、Twisted、pywin32，最后在安装scrapy pip install wheel pip install lxml 这个地址是一个下载python包的好地方 https://www
阅读全文
摘要：一、安装 首先scrapy的安装之前需要安装这个模块：wheel、lxml、Twisted、pywin32，最后在安装scrapy pip install wheel pip install lxml 这个地址是一个下载python包的好地方 https://www.lfd.uci.edu/~goh
阅读全文
摘要：python 的django项目复制方法 django_pyecharts_1修改为django_pyecharts_1_cs1、拷贝项目(确保原有项目是关闭状态下)2、粘贴项目并删除idea文件夹和evenv文件夹3、使用pycharm，open打开新拷贝的目录（project）4、右键点击项目名
阅读全文
摘要：在使用selenium进行自动化测试会遇到，手工打开浏览器，做了一部分操作后，并打开相关页面后再执行相关的自动化脚本。 如何使用selenium来接管先前已打开的浏览器呢？醍提出一个Google Chrome浏览器的解决方案。我们可以利用Chrome DevTools协议。它允许客户检查和调试Chr
阅读全文
摘要：在做爬虫或者自动化测试时，有时会打开一个新的标签页或者新的窗口，直接使用xpath定位元素会发现找不到元素，在firefox中定位了元素还是找不到， 经过多次发现，在眼睛视野内看到这个窗口是在最前面，但是webdriver却不是使用该窗口，需要做windown切换为新的窗口才行 一般使用以下命令处理
阅读全文
摘要：在做一个爬虫是，输入内容后，会自动显示内容，而且只能选择，不能根据输入的提交，一点就失去焦点，找不到相关内容 后来发现firefox的查看元素的最左边的类似于鼠标尖头的按钮，就是确保这种情况下，去查找元素对应的xpath。 右键->复制->xpath即可复制xpath 同理可以复制cSS选择器和CS
阅读全文
摘要：Xpath (XML Path Language)，是W3C定义的用来在XML文档中选择节点的语言一：从根目录/开始有点像Linux的文件查看，/代表根目录，一级一级的查找，直接子节点，相当于css_selector中的>号/html/body/div/p 二. 根据元素属性选择：查找具体的元素，必
阅读全文
摘要：这个类代表HTML页面元素 id_ #当前元素的ID tag_name #获取元素标签名的属性 text #获取该元素的文本。 click() #单击（点击）元素 submit() #提交表单 clear() #清除一个文本输入元素的文本 get_attribute(name) #获得属性值 s_s
阅读全文
摘要：由于网页自动化要操作浏览器以及浏览器页面元素，这里笔者就将浏览器及页面元素常用的函数及变量整理总结一下，以供读者在编写网页自动化测试时查阅。 from selenium import webdriver driver=webdriver.Firefox() driver.get(r'http://w
阅读全文
