上一页 1 ··· 22 23 24 25 26 27 28 29 30 ··· 32 下一页
摘要: Windows 10家庭中文版,Python 3.6.4,Scrapy 1.5.0, 上午看了Scrapy的Spiders官文,并按照其中的SitemapSpider的示例练习,发现官文的示例存在问题——SitemapSpider下的Spider类没有name属性。 这导致孤编写的测试程序也没有na 阅读全文
posted @ 2018-07-01 13:17 快乐的凡人721 阅读(451) 评论(0) 推荐(0) 编辑
摘要: Windows 10家庭中文版,Python 3.6.4,virtualenv 16.0.0,Scrapy 1.5.0, 在最初使用Scrapy时,使用编辑器或IDE手动编写模块来创建爬虫(Spider)程序,然后使用scrapy crawl命令执行Spider。 这种方式很初级、繁琐,不适合更大型 阅读全文
posted @ 2018-06-30 23:00 快乐的凡人721 阅读(690) 评论(0) 推荐(0) 编辑
摘要: Windows 10家庭中文版,Python 3.6.4,virtualenv 16.0.0,Scrapy 1.5.0, 使用scrapy命令行工具建立了爬虫项目(startproject),并使用scrapy genspider建立了爬虫,用于抓取某中文门户网站首页的 新闻标题及其链接,全程都在虚 阅读全文
posted @ 2018-06-30 16:45 快乐的凡人721 阅读(2083) 评论(0) 推荐(0) 编辑
摘要: Windows 10家庭中文版,VirtualBox 5.2.12 r122591,Ubuntu ubuntu-18.04-desktop, 前言 很久没用过Linux类的操作系统了,上一次是好多年前,因为今年学习Python,所以,一直想着装一个Ubuntu(据说阿里云服务器上的Linux是Cen 阅读全文
posted @ 2018-06-30 15:00 快乐的凡人721 阅读(2626) 评论(0) 推荐(0) 编辑
摘要: Windows 10家庭中文版,Python 3.6.4, virtualenv用来提供一个应用程序独立的 运行环境,这个独立是相对于系统的Python运行环境而言,开发者可以在virtualenv建立的运行环境中安装各种Python的包以及运行自己的应用程序,而这些操作都不会对系统的Python运 阅读全文
posted @ 2018-06-26 16:50 快乐的凡人721 阅读(588) 评论(0) 推荐(0) 编辑
摘要: Windows 10家庭中文版本,Python 3.6.4,Scrapy 1.5.0, Scrapy已经安装很久了,前面也看了不少Scrapy的资料,自己尝试使其抓取微博的数据时,居然连登录页面(首页)都进不去,后又在前几日补充学习了re、requests、urllib3、bs4.Beautiful 阅读全文
posted @ 2018-06-26 10:21 快乐的凡人721 阅读(437) 评论(0) 推荐(0) 编辑
摘要: Window 10家庭中文版,Python 3.6.4, 今天看完了urllib3的官文(官方文档),因为没有具体使用过,所以,仍然是一知半解,但是,突然想知道 urllib3以及前面学习过的requests模块都依赖了什么其它模块。 于是,就有了一段200来行的程序和本文了。 功能名称: 查找Py 阅读全文
posted @ 2018-06-24 17:33 快乐的凡人721 阅读(8421) 评论(0) 推荐(0) 编辑
摘要: Window 10家庭中文版,Python 3.6.4, 当一个路径以多个斜杠(/)或反斜杠字符(\\)结尾时,os.path.isdir(path)函数仍然将它们判断为目录: >>> os.path.isdir('C:/Python36/Lib/sqlite3//')True>>> os.path 阅读全文
posted @ 2018-06-24 12:43 快乐的凡人721 阅读(600) 评论(0) 推荐(0) 编辑
摘要: Windows 10家庭中文版,Python 3.6.4 今天学习了os模块,下面是使用它开发的一个展示目录下的文件和文件夹的函数,代码如下: 使用方法见测试——调用listdir函数建立显示不同深度的函数,再使用新建的函数 展示传入的目录(绝对路径)下的文件和文件夹。 测试可以更多的,在目前的代码 阅读全文
posted @ 2018-06-18 17:46 快乐的凡人721 阅读(1323) 评论(0) 推荐(0) 编辑
摘要: Windows 10家庭中文版,Python 3.6.4,stomp.py 4.1.21 ActiveMQ支持Python访问,提供了基于STOMP协议(端口为61613)的库。 ActiveMQ的官文Cross Language Clients中给出了更详细的介绍,并附有示例代码,如下图: 第一行 阅读全文
posted @ 2018-06-15 16:57 快乐的凡人721 阅读(13625) 评论(0) 推荐(0) 编辑
上一页 1 ··· 22 23 24 25 26 27 28 29 30 ··· 32 下一页