摘要：
由于之前用Scrapy 抓了一些公司的名称，但是没有准确的联系方式，所以就自己就学习了一下使用selenium自动化工具，速度比较慢，网上也有很多这方面的代码，但是大部分的网页解析部分都出错了，可能是这种网站定时会更改一下网页的固定几个标签。 网上也有很多说如果遇到一些防爬虫特别强的网站，比如企查查 阅读全文
|
摘要：
由于之前用Scrapy 抓了一些公司的名称，但是没有准确的联系方式，所以就自己就学习了一下使用selenium自动化工具，速度比较慢，网上也有很多这方面的代码，但是大部分的网页解析部分都出错了，可能是这种网站定时会更改一下网页的固定几个标签。 网上也有很多说如果遇到一些防爬虫特别强的网站，比如企查查 阅读全文
摘要：
一开始是打算去抓取一些数据，但是总是访问次数多了之后被封IP，所以做了一个专门做了个工具用来抓取在西刺和快站的高匿IP。 运行环境的话是在python3.5下运行的，需要requests库 在制作的过程中也参考的以下网上其他人的做法，但是发现很大一部分都不是多线程去抓取有点浪费时间了，又或者或网上已 阅读全文
摘要：
因为要去抓取部分经过JavaScript渲染的网页数据，所以使用scrapy中的Request返回的是没有经过渲染的网页代码， 因此我们就要运用Scrapy中的 splash 中的 SplashRequest 来进行操作。 首先我们要使用安装scrapy-splash： 1、利用pip 安装 scr 阅读全文
摘要：
因为在Windows7中安装python 的 scrapy框架实在是太繁琐，而且在网上查找的scrapy安装过程全都是告诉你去哪里下载，所以光去找东西都找了很久，太费时间。 为了照顾伸手党的需求，就在这里将scrapy框架所有需要的文件打一个包，这样更加节省时间。 注意！该scrapy包中包含： 1 阅读全文
摘要：
尝试实现计算器功能，设计制作了2天，打了大概170行代码，最后功能是能够实现，但是依旧存在重大bug——不能对负数进行计算。 虽然可以添加大量if语句就可实现对于负数的判断来进行计算，但是显得代码不高效，所以先将代码放上来，以后在进行修改。 实现计算器的过程，我的想法主要是将传入的算式进行分解，首先 阅读全文
摘要：
1、 使用 join 方法将下划线添加到列表的每一个元素拼接成字符串，li ＝ ['alex', 'eric', 'rain'] 2、 查找列表中元素，移除每个元素的空格，并查找以 a 或 A 开头 并且以 c 结尾的所有元素。 li = ["alec", " aric", "Alex", "Ton 阅读全文
摘要：
继续学习 继续尝试 拿了几个小例子来熟悉一下 一些特殊的功能 1、使用 strip 来移除 字段两边的空格。 2、使用endswith、starswith 来判断开头结尾。 3、使用replace 来替换指定的字段。 4、使用join将_ 添加到 字符串中。 5、用现有的知识做出 5+5这种 低级加 阅读全文
摘要：
自学之后运用循环语句和判断语句所解决的几个简单问题： 1、实现1到10的和： 2、实现1到100的和： 3、实现100以内偶数相加： 4、实现100以内的奇数相加： 5、实现求1-2+3-4+5 ... 99的所有数的和： 6、实现三次登陆尝试： 纯IF语句版： 添加 while循环版： 经过这几个 阅读全文
|