随笔分类 - Python
摘要：chromedriver不同版本 https://chromedriver.storage.googleapis.com/index.html https://registry.npmmirror.com/binary.html?path=chrome-for-testing https://goo
阅读全文
摘要：selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.
阅读全文
摘要：一个Python 爬取猫眼top100的小栗子
阅读全文
摘要：找不到driver的路径，需要将driver的路径加上 部分参考：http://blog.csdn.net/972301/article/details/62238451 【Python处理】 1. 零基础： 如果从来没有装过Selenium，直接执行。 pip install selenium 2
阅读全文
摘要：自动化测试工具，支持多种浏览器。爬虫中主要用来解决JavaScript渲染问题。 用法 基本使用 先下载对应的驱动：https://github.com/mozilla/geckodriver/releases 以FireFox的驱动 geckodriver为例。下载后，建议可以直接放在FireFo
阅读全文
摘要：强大又灵活的网页解析库。如果你觉得正则写起来太麻烦，如果你觉得Beauifulsoup语法太难记，如果你属性Jqueryd 语法，PyQuery是个不错的选择。 pyquery 栗子 3、文件初始化 4、基本CSS选择器 doc = pq(html) print(doc('#cond .list l
阅读全文
摘要：1、BeautifuSoup 是什么 灵活又方便的网页解析库，处理高效，支持多种解析器，利用它不用编写正则表达式既可方便地实现网页信息的提取。 安装： pip3 install beautifulsoup4 用法讲解 来个栗子 2、标签选择器 1、选择元素 输出： 如果加了.string 输出就是具
阅读全文
摘要：1、re.match re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()返回none。 re.match(pattern,string,flags=0) 最常规的匹配 import re content ='hello 123 4567 World_T
阅读全文
摘要：1、Requests 用法 例子： import requests response = requests.get('https://www.baidu.com') print(type(response)) print(response.status_code) //200 print(type(
阅读全文
摘要：一、常用库 1、requests 做请求的时候用到。 requests.get("url") 2、selenium 自动化会用到。 3、lxml 4、beautifulsoup 5、pyquery 网页解析库 说是比beautiful 好用，语法和jquery非常像。 6、pymysql 存储库。操
阅读全文
摘要：直接安装scrapy 各种报错，后来各种百度终于解决了，如下是亲身的经历。 这样直接会报错。 第一步： 先安装wheel 第二步： 安装twiste，事先下载好Twisted-17.9.0-cp36-cp36m-win32.whl，我用的是32位，切换到twisted路径下安装， 这上有 http:
阅读全文
摘要：如果发现不能用，那就是糗百又改规则了
阅读全文
摘要：#1、执行outer函数，并且将其下面的函数名当做参数 #2、将outer的返回值重新赋值给f1=outer的返回值 #新f1函数 = inner 上面是没有参数的，来两个有参数的
阅读全文
摘要：temp2 = "" for i in range(6): num = random.randrange(0,6) if num == 1 or num == 3 or num ==5: temp2 = temp2 + str(num) else: num2 =random.randrange(65,91) temp2 +=...
阅读全文
摘要：示例代码和引用的语录都来自Raymond的演讲。这是我按我的理解整理出来的，希望你们理解起来跟我一样顺畅！ 遍历一个范围内的数字 for i in [0, 1, 2, 3, 4, 5]: print i ** 2 for i in range(6): print i ** 2 更好的方法 for i
阅读全文
摘要：完美 参考：http://www.cnblogs.com/smq772340208/p/6927063.html
阅读全文
摘要：1、添加关键字： global 在要给变量从新赋值的时候添加。 全局变量都大写，局部变量都小写。
阅读全文
摘要：对python 读写配置文件的具体方案的介绍 1，函数介绍 1.1.读取配置文件 -read(filename) 直接读取ini文件内容 -sections() 得到所有的section，并以列表的形式返回 -options(section) 得到该section的所有option -items(s
阅读全文
摘要：网址：http://www.lfd.uci.edu/~gohlke/pythonlibs/
阅读全文
摘要：1、下载 lxml 地址：https://pypi.python.org/pypi/lxml/3.8.0#downloads 我用的是python 3.6，我下载了 lxml-3.8.0-cp36-cp36m-win_amd64.whl，可根据自己情况而定。 然后安装，把 lxml-3.8.0-cp
阅读全文
