06 2018 档案
摘要:Windows 10家庭中文版,Python 3.6.4,virtualenv 16.0.0,Scrapy 1.5.0, 在最初使用Scrapy时,使用编辑器或IDE手动编写模块来创建爬虫(Spider)程序,然后使用scrapy crawl命令执行Spider。 这种方式很初级、繁琐,不适合更大型
阅读全文
摘要:Windows 10家庭中文版,Python 3.6.4,virtualenv 16.0.0,Scrapy 1.5.0, 使用scrapy命令行工具建立了爬虫项目(startproject),并使用scrapy genspider建立了爬虫,用于抓取某中文门户网站首页的 新闻标题及其链接,全程都在虚
阅读全文
摘要:Windows 10家庭中文版,VirtualBox 5.2.12 r122591,Ubuntu ubuntu-18.04-desktop, 前言 很久没用过Linux类的操作系统了,上一次是好多年前,因为今年学习Python,所以,一直想着装一个Ubuntu(据说阿里云服务器上的Linux是Cen
阅读全文
摘要:Windows 10家庭中文版,Python 3.6.4, virtualenv用来提供一个应用程序独立的 运行环境,这个独立是相对于系统的Python运行环境而言,开发者可以在virtualenv建立的运行环境中安装各种Python的包以及运行自己的应用程序,而这些操作都不会对系统的Python运
阅读全文
摘要:Windows 10家庭中文版本,Python 3.6.4,Scrapy 1.5.0, Scrapy已经安装很久了,前面也看了不少Scrapy的资料,自己尝试使其抓取微博的数据时,居然连登录页面(首页)都进不去,后又在前几日补充学习了re、requests、urllib3、bs4.Beautiful
阅读全文
摘要:Window 10家庭中文版,Python 3.6.4, 今天看完了urllib3的官文(官方文档),因为没有具体使用过,所以,仍然是一知半解,但是,突然想知道 urllib3以及前面学习过的requests模块都依赖了什么其它模块。 于是,就有了一段200来行的程序和本文了。 功能名称: 查找Py
阅读全文
摘要:Window 10家庭中文版,Python 3.6.4, 当一个路径以多个斜杠(/)或反斜杠字符(\\)结尾时,os.path.isdir(path)函数仍然将它们判断为目录: >>> os.path.isdir('C:/Python36/Lib/sqlite3//')True>>> os.path
阅读全文
摘要:Windows 10家庭中文版,Python 3.6.4 今天学习了os模块,下面是使用它开发的一个展示目录下的文件和文件夹的函数,代码如下: 使用方法见测试——调用listdir函数建立显示不同深度的函数,再使用新建的函数 展示传入的目录(绝对路径)下的文件和文件夹。 测试可以更多的,在目前的代码
阅读全文
摘要:Windows 10家庭中文版,Python 3.6.4,stomp.py 4.1.21 ActiveMQ支持Python访问,提供了基于STOMP协议(端口为61613)的库。 ActiveMQ的官文Cross Language Clients中给出了更详细的介绍,并附有示例代码,如下图: 第一行
阅读全文
摘要:官网:http://activemq.apache.org/ ActiveMQ是一个消息中间件,在大型互联网应用中有广泛的使用。 当前最新版本:5.15.4,发布于2018-05-22,开源、Apache 2.0许可证。 来自Apache基金会,是一个流行且强大的 开源 消息和继承模式服务器(mes
阅读全文
摘要:本文基于Python 3.6.5的官文random编写。 random模块简介 random为各种数学分布算法(distributions)实现了伪随机数生成器。 对于整数,是从一个范围中均匀选择(uniform selection); 对于序列,是从一个随机元素的均匀选择; 一个函数实现列表的随机
阅读全文
摘要:本文根据Python 3.6.5的官文Built-in Exceptions编写,不会很详细,仅对Python的内置异常进行简单(重难点)介绍——很多异常都可以从名称判断出其意义,罗列所有的内置异常。 在Python中,所有的异常都是派生自BaseException的类的实例。 内置异常可以被继承以
阅读全文
摘要:本文根据Python 3.6.5的官文Built-in Types而写。 目录 1.真值测试 2.布尔操作 -- and, or, not 3.比较 4.数字型 -- int, float, complex 5.迭代器类型 6.序列类型 7.文本序列类型 -- str 8.二进制序列类型 -- by
阅读全文
摘要:本文根据Python 3.6.5的官文Built-in Constants编写,官文比较短,大家可以直接看原文。 有一些存在于 内置名称空间(the built-in namespace) 的常量,如下: False True 上面两个都是bool型,不可以被赋值。 None 类型NoneType的
阅读全文
摘要:本文基于Python 3.6.5的标准库文档编写,罗列了英文文档中介绍的所有内建函数,并对其用法进行了简要介绍。 下图来自Python官网:展示了所有的内置函数,共计68个(14*4+12),大家可以根据需要查询相应函数的具体用法。 内置函数简述 abs(x) 返回数字的绝对值,可以是整数或浮点数;
阅读全文
摘要:Windows 10家庭中文版,Python 3.6.4, 本文介绍了使用os、platform、sys三个模块获取Python程序的运行平台相关的信息。 os模块:提供 各种各样的操作系统接口 os.name -- 操作系统的名称,一个简称。已有三个被注册了:“posix”,“nt”,“java”
阅读全文
摘要:Windows 10家庭中文版,Python 3.6.4, 上午看过了一篇讲Python生成器的博文: 提高你的Python: 解释‘yield’和‘Generators(生成器)’ (英文原文) 这篇博文讲的挺好的,但在读完后,自己仍然对yield、send、yield返回值等概念不清楚,于是,做
阅读全文
摘要:IP地址(Internet Protocol Address) 它来自TCP/IP协议,存在于其中的IP层,用于实现不同计算机之间的通信,类似于门牌号。 设计之处,IP地址是准备给地球上每一台计算机一个唯一的IP地址的,那是在1970年代,计算机尚未民用,只是存在于军队、科研院所,当然,体型巨大、拥
阅读全文