上一页 1 ··· 13 14 15 16 17 18 19 20 21 ··· 38 下一页
摘要: 1 1024 1.048576e+06 1.073741824e+09 阅读全文
posted @ 2017-10-31 21:47 Erick-LONG 阅读(181) 评论(0) 推荐(0) 编辑
摘要: package main import ( "fmt" "strconv" ) func main() { var a int = 65 b := strconv.Itoa(a) a, _ = strconv.Atoi(b) fmt.Println(a) } 阅读全文
posted @ 2017-10-31 21:42 Erick-LONG 阅读(143) 评论(0) 推荐(0) 编辑
摘要: # url管理器 # url管理器 import pickle import hashlib class UrlManager(): def __init__(self): self.new_urls = self.load_progress('new_urls.txt') # 未爬取url集合 self.old_urls = self.load_p... 阅读全文
posted @ 2017-10-23 22:06 Erick-LONG 阅读(472) 评论(0) 推荐(0) 编辑
摘要: # url管理器 class UrlManager(): def __init__(self): self.new_urls = set() #未爬取集合 self.old_urls = set() # 已爬取集合 def has_new_url(self): ''' 判断是否有未爬取的URL :... 阅读全文
posted @ 2017-10-22 18:32 Erick-LONG 阅读(282) 评论(0) 推荐(0) 编辑
摘要: import requests from lxml import etree import urllib url = 'http://www.ivsky.com/tupian/ziranfengguang/' def Schedule(blocknum,blocksize,totolsize): per = 100.0 * blocknum * blocksize / totolsi... 阅读全文
posted @ 2017-10-22 16:44 Erick-LONG 阅读(495) 评论(0) 推荐(0) 编辑
摘要: 分布式进程可以有multiprocessing模块的managers子模块支持,可以写一个服务进程作为调度者,将任务分布到其他多个进程中,依靠网络通信进行管理 taskManager.py taskManager.py 阅读全文
posted @ 2017-10-22 11:39 Erick-LONG 阅读(572) 评论(0) 推荐(0) 编辑
摘要: 协程举例 result 协程池 阅读全文
posted @ 2017-10-22 10:25 Erick-LONG 阅读(117) 评论(0) 推荐(0) 编辑
摘要: 元素定位 鼠标键盘操作 显式/隐式等待 窗口/frame切换 警告框处理 文件下载 文件上传 操作cookie 调用javascript 窗口截图 视频播放处理 下拉框选择 阅读全文
posted @ 2017-10-11 07:10 Erick-LONG 阅读(227) 评论(0) 推荐(0) 编辑
摘要: 完善后 更轻量的django python test runserver 阅读全文
posted @ 2017-10-10 11:52 Erick-LONG 阅读(357) 评论(0) 推荐(0) 编辑
摘要: #encoding=utf-8 from t2 import RedisHelper from t3 import MysqlHelper import hashlib name=raw_input("请输入用户名:") pwd=raw_input("请输入密码:") sha1=hashlib.sha1() sha1.update(pwd) pwd1=sha1.hexdigest() tr... 阅读全文
posted @ 2017-08-29 11:45 Erick-LONG 阅读(263) 评论(0) 推荐(0) 编辑
上一页 1 ··· 13 14 15 16 17 18 19 20 21 ··· 38 下一页