2018年7月4日
python进程和线程
摘要： 爬虫开发过程中 进程和线程的概念是非常重要的 提高爬虫的 工作效率 打造分布式爬虫 都离不开进程和线程的身影 多进程 多线程 协程 分布式进程等四个方面 使用os模块中的fork方法 使用multiprocessing模块 前者仅仅适用Unix/Linux操作系统 对windows不支持 后者是跨平 阅读全文
posted @ 2018-07-04 11:59 duxiao123 阅读(109) 评论(0) 推荐(0) 编辑
python序列化操作
摘要： 对象的序列化在很多高级编程语言中都有相应的实现 程序运行时候 所有的 变量都是在内存中的 d=dict(url="index.html",title="首页",content="首页") 程序运行过程中 爬取的页面的链接 会不断变化 比如url改成second.html 但是程序一结束 或意外中断 阅读全文
posted @ 2018-07-04 11:01 duxiao123 阅读(135) 评论(0) 推荐(0) 编辑
python集合
摘要： 当我们想在容器中存储的对象是独一无二的时候 就不那么有效了 集合是无序的 知道的不多冲动就大 可哈希对象 与 可用做字典键值 正是因为穷啊 强东哥哥 阅读全文
posted @ 2018-07-04 10:08 duxiao123 阅读(76) 评论(0) 推荐(0) 编辑
python object
摘要： a=object() a.x=7 这样是错误的 为了节省内存 Python默认禁止object拥有任何属性 其他的一些内置数据结构也是一样 在我们的类中 可以使用插槽(slot) 来限制任意priperty属性 类和对象应该只在你想要同时指定数据和行为的时候被使用 如果你要用可以修改的 为什么不用列 阅读全文
posted @ 2018-07-04 09:59 duxiao123 阅读(131) 评论(0) 推荐(0) 编辑
2018年7月2日
人需要治愈
摘要： 人需要治愈 治愈系 阅读全文
posted @ 2018-07-02 12:13 duxiao123 阅读(83) 评论(0) 推荐(0) 编辑
python经典写法
摘要： >>>a=6 >>>b=4 >>>'变量a大于b' if a>b else 'b大于a' 阅读全文
posted @ 2018-07-02 07:15 duxiao123 阅读(76) 评论(0) 推荐(0) 编辑
vuejs学习1
摘要： 本套课程是为『Vuejs 实战教程』网站所有课程量身定制的开发环境，你也可以将此环境作为你的前端开发环境。 学习本课程时，你需要提前知道这些信息： 本教程是为站点里的实战课程服务的，所以行文的语气是假定你为实战课程的学习者； 本教程会不定期保持更新； 还有一个需要注意的是，对于命令行和编辑器等软件， 阅读全文
posted @ 2018-07-02 06:48 duxiao123 阅读(70) 评论(0) 推荐(0) 编辑
学习的网站
摘要： https://www.v2ex.com/ https://www.gutenberg.org/ https://love2.io/ http://bubkoo.com/ 看云 慕课 b站 gitbook.cn 阅读全文
posted @ 2018-07-02 06:37 duxiao123 阅读(96) 评论(0) 推荐(0) 编辑
pyenv 入门介绍
摘要： pyenv pyenv 可以帮助你在开发或者生产环境里安装和管理多个 Python 版本。这对于 Python 开发者而言非常有用。 比如在 Ubuntu 12.04 上（这个版本的 Ubuntu 曾经非常流行，至今仍然驱动了很多重要系统），系统自带的 Python 版本是 2.7.6。而这个版本的 阅读全文
posted @ 2018-07-02 06:36 duxiao123 阅读(455) 评论(0) 推荐(0) 编辑
pyenv BUILD FAILED解决方法
摘要： 今天被python2.x的中文问题弄的头痛，发现python3.x对中文支持很好，但是又担心某些包不支持python3的版本。遂使用pyenv来管理python。 操作系统：osx 10.11 首先我使用了homebrew安装了pyenv，这一步在网上看到会出错，然后如何如何解决，但是幸运的是我这里 阅读全文
posted @ 2018-07-02 06:20 duxiao123 阅读(991) 评论(0) 推荐(0) 编辑