摘要: url管理器一共有三种实现方法,作为个人,我们应当选择哪种实现方法呢?答案就在下面 爬虫的简单架构 一、URL管理器 实现方式:有三种 1.内存中 python中set()可以直接去除重复的元素 2.关系数据库中 比如:mysql中的urls(url,is_crawled) 建立一个urls表包含两 阅读全文
posted @ 2017-07-07 10:59 ryuuku 阅读(1119) 评论(0) 推荐(0) 编辑
摘要: 对于那些想入门和刚入门又感到不知从何学起的同学非常有用,可以全方位的了解ctf的大致题型,黑客游戏脑洞都比较大。 http://1111.segmentfault.com/ 光棍节程序员闯关秀 答案:https://www.waitalone.cn/11-game.html http://www.f 阅读全文
posted @ 2017-07-07 09:57 ryuuku 阅读(5147) 评论(0) 推荐(0) 编辑
摘要: 安装软件流程:1.中文输入法搜狗拼音;2.办公工具WPS;3.VIRT客户端4.虚拟机virtualbox;5.设置终端快捷键 首先导入所需要的文件(文件镜像链接http://pan.baidu.com/s/1c2J6j2w) 接下来修改源 在终端中输入vi /etc/apt/sources.lis 阅读全文
posted @ 2017-06-18 19:52 ryuuku 阅读(31011) 评论(0) 推荐(0) 编辑