随笔分类 - python
python
摘要：pyV8不支持dom操作，关于PyV8的支持DOM的疑问
PYV8只支持纯js语句。不过官方提供了w3c.py以及brower.py，可以基于此来完成，但这个用起来还是比较麻烦。
在爬取网站时，需要提交请求，其中有一个参数是执行了一大段js来得到的，本来以为用PyV8可以执行js解决的，结果由于涉及到了一点dom的东西，而原生PyV8貌似没有自带浏览器环境， 所以就会报错，导致无法执行下去。
阅读全文
摘要：pyspider源码解读--调度器scheduler.py
首先从pyspider的根目录下找到/pyspider/scheduler/scheduler.py
其中定义了四个类：
class Project(object)
class Scheduler(object)
class OneScheduler(Scheduler)
class ThreadBaseScheduler(Scheduler)
阅读全文
摘要：pyspider操作千万级库，pyspider在对接量级较大库的策略
如果是需要pyspider正常的流程去执行，那必然是会在on_strat()时任务执行超时，可能只读取出几万条或十几万条数据就会被破终止，然后执行index_page()，由于这个超时时间限制，且self.crawl()之后程序不是异步的，会暂时阻塞在on_start()这一步，若是异步的，可能情况会好点，但也可能会因为mysql读库太快，导致中间沉积大量任务，需要其他的思路去解决这个问题。
阅读全文
摘要：查看python内部模块命令，内置函数，查看python已经安装的模块命令
可以用dir(modules)
或者用 pip list
或者用 help('modules')
或者用 python -m pydoc -p 1234
都能列出所有已经安装的模块
阅读全文
摘要：python GIL 全局锁，多核cpu下的多线程性能究竟如何？GIL全称Global Interpreter Lock
GIL是什么？首先需要明确的一点是GIL并不是Python的特性，它是在实现Python解析器(CPython)时所引入的一个概念。
阅读全文
摘要：TensorFlow入门，基本介绍，基本概念，计算图，pip安装，helloworld示例，实现简单的神经网络
阅读全文
摘要：windows下多个python版本共存，如何在Windows7系统上安装最新的64位Python3.6.2
阅读全文
摘要：PyCharm是由JetBrains打造的一款Python IDE。PyCharm具备用于一般IDE的功能，比如， 调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。另外，PyCharm还提供了一些很好的功能用于Django开发，同时支持Google App Engine，更酷的是，PyCharm支持IronPython！
PyCharm 2017.2.3 版本在2017年9月7日发布，该版本包含以下改进：
阅读全文
摘要：python之禅 The Zen of Python
在python中import this就会展示出The Zen of Python如下：
The Zen of Python, by Tim Peters
优美胜于丑陋（Python 以编写优美的代码为目标）
明了胜于晦涩（优美的代码应当是明了的，命名规范，风格相似）
简洁胜于复杂（优美的代码应当是简洁的，不要有复杂的内部实现）
阅读全文
摘要：Python这么热，要不要追赶Python学习热潮？
Python 可以用来做什么？
在我看来，基本上可以不负责任地认为，Python 可以做任何事情。无论是从入门级选手到专业级选手都在做的爬虫，还是Web 程序开发、桌面程序开发还是科学计算、图像处理，Python都可以胜任。
或许是因为这种万能属性，周围好更多的小伙伴都开始学习Python。
阅读全文
摘要：想学习深度学习需要什么样的基础？
关于编程基础
只会 Java 语言，不会 C/C++/Python 能学习吗？或者学过 C/C++/Python，但是没有实际应用过，或者基础不好，是否可以学？是否有 Python 学习教程推荐？如果 C++/Python 基础比较薄弱，是否可以学？
【回答】可以。
阅读全文
摘要：TensorFlow 1.2.0新版本完美支持Python3.6，windows在cmd中输入pip install tensorflow就能下载应用最新tensorflow
只需在cmd中输入pip install tensorflow就能下载应用最新tensorflow，再也无需转换到Python3.5了
阅读全文
摘要：Instagram 在 PyCon 2017 的演讲摘要，Instagram 的视频可以给我们哪些启示呢？
Python + Django 的组合完全可以负载用户数以 10 亿记的服务，如果你正准备开始一个项目，放心使用 Python 吧！
完善的单元测试对于复杂项目是非常有必要的。如果没有那『成千上万的单元测试』。很难想象 Instagram 的迁移项目可以成功进行下去。
开发者和同事也是你的产品用户，利用好他们。用他们为你的新特性发布前多一道测试。
完全基于主分支的开发流程，可以给你更快的迭代速度。前提是拥有完善的单元测试和持续部署流程。
Python 3 是大势所趋，如果你正准备开始一个新项目，无需迟疑，拥抱 Python 3 吧！
阅读全文
摘要：IEEE发布2017年编程语言排行榜：Python高居首位，java第三，php第八
阅读全文
摘要：用Python实现随机森林算法，深度学习
拥有高方差使得决策树（secision tress）在处理特定训练数据集时其结果显得相对脆弱。bagging（bootstrap aggregating 的缩写）算法从训练数据的样本中建立复合模型，可以有效降低决策树的方差，但树与树之间有高度关联（并不是理想的树的状态）。
随机森林算法（Random forest algorithm）是对 bagging 算法的扩展。除了仍然根据从训练数据样本建立复合模型之外，随机森林对用做构建树（tree）的数据特征做了一定限制，使得生成的决策树之间没有关联，从而提升算法效果。
本教程将实现如何用 Python 实现随机森林算法。
阅读全文
摘要：为什么学Python语言，只需四步全面了解Python语言
每个时代都会悄悄犒赏会选择的人，Python现在风口的语言
Python--第三大主流编程语言
Python , 是一种面向对象的解释型计算机程序设计语言，具有丰富和强大的库，Python 已经成为继JAVA，C++之后的的第三大语言。 特点：简单易学、免费开源、高层语言、可移植性强、面向对象、可扩展性、可嵌入型、丰富的库、规范的代码等。
阅读全文
摘要：Python入门学习之路，怎么 “开心，高效，踏实” 地把Python学好？兴趣，兴趣，兴趣！找到你自己感兴趣的点进行切入，并找到兴趣点进行自我驱动是最好的学习方式！
阅读全文
摘要：python实现文章或博客的自动摘要(附java版开源项目)
写博客的时候，都习惯给文章加入一个简介。现在可以自动完成了！
TF-IDF与余弦相似性的应用（三）：自动摘要
http://www.ruanyifeng.com/blog/2013/03/automatic_summarization.html
idf.txt来自 https://github.com/jannson/yaha/blob/master/yaha/analyse/idf.txt
python分词库中：https://github.com/jannson/yaha
使用summarize3 需要安装numpy库。
https://github.com/jannson/yaha
阅读全文
摘要：redis安装 phpredis Jedis 扩展的实现及注意事项,php,java,python相关插件安装实例代码和文档推荐
1、Redis 官方网站下载： http://redis.io/download
第三方下载redis的windows应用程序，支持32位和64位，根据实际情况下载
下载地址： https://github.com/dmajkic/redis/downloads
2、将相应的程序copy到你所需要的目录中，在这里我使用的64位，放到E:\redis目录
3、启动redis服务端：打开一个cmd窗口，先切换到redis所放目录（E:\redis），运行 redis-server.exe redis.conf
注意redis.conf为配置文件，主要配置了redis所使用的端口等信息（如果不写则默认redis.conf）
阅读全文
摘要：python3.4学习笔记(二十六) Python 输出json到文件,让json.dumps输出中文 实例代码
python的json.dumps方法默认会输出成这种格式"\u535a\u5ba2\u56ed",。
要输出中文需要指定ensure_ascii参数为False，如下代码片段：
json.dumps({'text':"中文"},ensure_ascii=False,indent=2)
fl.write(json.dumps(datas,ensure_ascii=False,indent=2))
阅读全文