会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Erick - LONG
Be Patient! Be Positive! Be Persistence!
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
13
14
15
16
17
18
19
20
21
···
38
下一页
2017年10月31日
枚举和位移
摘要: 1 1024 1.048576e+06 1.073741824e+09
阅读全文
posted @ 2017-10-31 21:47 Erick-LONG
阅读(181)
评论(0)
推荐(0)
编辑
变量 转换
摘要: package main import ( "fmt" "strconv" ) func main() { var a int = 65 b := strconv.Itoa(a) a, _ = strconv.Atoi(b) fmt.Println(a) }
阅读全文
posted @ 2017-10-31 21:42 Erick-LONG
阅读(143)
评论(0)
推荐(0)
编辑
2017年10月23日
简单分布式爬虫
摘要: # url管理器 # url管理器 import pickle import hashlib class UrlManager(): def __init__(self): self.new_urls = self.load_progress('new_urls.txt') # 未爬取url集合 self.old_urls = self.load_p...
阅读全文
posted @ 2017-10-23 22:06 Erick-LONG
阅读(472)
评论(0)
推荐(0)
编辑
2017年10月22日
百度百科基础爬虫
摘要: # url管理器 class UrlManager(): def __init__(self): self.new_urls = set() #未爬取集合 self.old_urls = set() # 已爬取集合 def has_new_url(self): ''' 判断是否有未爬取的URL :...
阅读全文
posted @ 2017-10-22 18:32 Erick-LONG
阅读(282)
评论(0)
推荐(0)
编辑
天堂图片网图片下载
摘要: import requests from lxml import etree import urllib url = 'http://www.ivsky.com/tupian/ziranfengguang/' def Schedule(blocknum,blocksize,totolsize): per = 100.0 * blocknum * blocksize / totolsi...
阅读全文
posted @ 2017-10-22 16:44 Erick-LONG
阅读(495)
评论(0)
推荐(0)
编辑
分布式进程
摘要: 分布式进程可以有multiprocessing模块的managers子模块支持,可以写一个服务进程作为调度者,将任务分布到其他多个进程中,依靠网络通信进行管理 taskManager.py taskManager.py
阅读全文
posted @ 2017-10-22 11:39 Erick-LONG
阅读(572)
评论(0)
推荐(0)
编辑
协程补充
摘要: 协程举例 result 协程池
阅读全文
posted @ 2017-10-22 10:25 Erick-LONG
阅读(117)
评论(0)
推荐(0)
编辑
2017年10月11日
selenium webdriver API
摘要: 元素定位 鼠标键盘操作 显式/隐式等待 窗口/frame切换 警告框处理 文件下载 文件上传 操作cookie 调用javascript 窗口截图 视频播放处理 下拉框选择
阅读全文
posted @ 2017-10-11 07:10 Erick-LONG
阅读(227)
评论(0)
推荐(0)
编辑
2017年10月10日
轻量级django 一
摘要: 完善后 更轻量的django python test runserver
阅读全文
posted @ 2017-10-10 11:52 Erick-LONG
阅读(357)
评论(0)
推荐(0)
编辑
2017年8月29日
用户登录
摘要: #encoding=utf-8 from t2 import RedisHelper from t3 import MysqlHelper import hashlib name=raw_input("请输入用户名:") pwd=raw_input("请输入密码:") sha1=hashlib.sha1() sha1.update(pwd) pwd1=sha1.hexdigest() tr...
阅读全文
posted @ 2017-08-29 11:45 Erick-LONG
阅读(263)
评论(0)
推荐(0)
编辑
上一页
1
···
13
14
15
16
17
18
19
20
21
···
38
下一页
公告