史高治

新随笔 联系 管理

2017年10月19日 #

摘要: 我的电脑的系统Path: D:\sqlite;D:\Program Files\MongoDB\Server\3.4\bin;%MYSQL_HOME%\bin;D:\Program Files\Browser\Python 3.6\;D:\Program Files\Browser\Python 3 阅读全文
posted @ 2017-10-19 17:52 史高治 阅读(241) 评论(0) 推荐(0) 编辑

摘要: 步骤: 目标文件夹下,按Shift+右键进控制台:(Win10则在scrapy各命令前加个python -m ) ①scrapy startproject project;执行两句提示,要改name(别和项目同名;另外项目名及爬虫名都不要用test、fang等有莫名意义的单词)和domain(有的不 阅读全文
posted @ 2017-10-19 17:50 史高治 阅读(1212) 评论(0) 推荐(0) 编辑

摘要: driver.find_element_by_*('*')唯一时,等同driver.find_elements_by_*('*')[0],返回WebElement对象,有.send_keys()、.click()等定位法,以及.text、.get_attribute('*')提取自家标签的内容、属性 阅读全文
posted @ 2017-10-19 17:49 史高治 阅读(384) 评论(0) 推荐(0) 编辑

摘要: EgのExcelHome上传附件: 类MultipartEncoder: 2参boundary的-及字母数字的数量同Content-Type的bdr,而postData中各键首行的boundary则在开头补了俩-:其__init__内有句self.boundary = '--{0}'.format( 阅读全文
posted @ 2017-10-19 17:47 史高治 阅读(376) 评论(0) 推荐(0) 编辑

摘要: PyCharm连接linux服务器,且每次按Ctrl+S后就自动同步代码: ①tools:Deployment→Configuration:+→比如hello,SFTP; ②选项卡Connection:host如http://httpbin.org,User name保持默认的root,Passwo 阅读全文
posted @ 2017-10-19 17:45 史高治 阅读(389) 评论(0) 推荐(0) 编辑

摘要: 协程: import grequests from fake_useragent import UserAgent urls=[f'http://bir删d.so/search?page={page}&q=Python' for page in range(1,9)] tasks=[grequest 阅读全文
posted @ 2017-10-19 17:43 史高治 阅读(375) 评论(0) 推荐(0) 编辑

该文被密码保护。 阅读全文
posted @ 2017-10-19 17:41 史高治 阅读(26) 评论(0) 推荐(0) 编辑

摘要: requests库中,可不写为headers内各键值对的部分参数: s=requests.Session() #或.session() s.allow_redirects=False #禁止重定向 s.proxies={'http':'http://3.7.2.1:80'} #代理 s.timeou 阅读全文
posted @ 2017-10-19 17:40 史高治 阅读(826) 评论(0) 推荐(0) 编辑

摘要: Egの登录oschina: import requests from fake_useragent import UserAgent as ua from hashlib import sha1 s=requests.Session() s.verify=False #忽略ssl证书 from re 阅读全文
posted @ 2017-10-19 17:40 史高治 阅读(448) 评论(0) 推荐(0) 编辑

摘要: json: json异于pickle,无乱码,各语言都支持,但Python各对象只直接接收int,str,(),[],{}。读入txt时只接受str,int变为str(int),()[]{}被json.dumps(*)换装为str后才行;反义词json.loads(json风格的str)返回()[] 阅读全文
posted @ 2017-10-19 17:39 史高治 阅读(328) 评论(0) 推荐(0) 编辑