摘要: 网络通用库: urllib -网络库(stdlib)。requests -网络库。grab – 网络库(基于pycurl)。pycurl – 网络库(绑定libcurl)。urllib3 – Python HTTP库,安全连接池、支持文件post、可用性高。httplib2 – 网络库。RoboBr 阅读全文
posted @ 2018-06-21 09:45 Jack-- 阅读(3349) 评论(0) 推荐(1) 编辑
摘要: 官网下载地址:https://studio3t.com/download-now/ 阅读全文
posted @ 2018-06-20 16:22 Jack-- 阅读(716) 评论(0) 推荐(0) 编辑
摘要: 在上一篇中我们介绍了Beautiful Soup解析库的使用方法,用解析出数据之后,接下来就是存储数据的问题了。数据保存的方式多种多样,最简单的形式是直接保存成文本文件,比如txt/json/csv....另外还可以保存到数据库 关系型数据库--Mysql MSsql,非关系型数据库 MongoDB 阅读全文
posted @ 2018-06-10 11:05 Jack-- 阅读(2359) 评论(0) 推荐(0) 编辑
摘要: 创建 Beautiful Soup 对象 首先必须要导入 bs4 库》》from bs4 import BeautifulSoup 我们创建一个字符串,后面的例子我们便会用它来演示: html = """<html><head><title>The Dormouse's story</title>< 阅读全文
posted @ 2018-06-08 17:55 Jack-- 阅读(268) 评论(0) 推荐(0) 编辑
摘要: Requests是一个实用、简单、强大的Python HTTP客户端库,编写爬虫和测试服务器响应数据时经常会用到。Requests 能够完全满足如今网络的需求。接下来我们从最基本的get post 请求开始 到高级特性一步一个脚印去学习。学习是个渐进的过程,只有脚踏实地不断的去练习才能掌握这些重要的 阅读全文
posted @ 2018-06-06 16:29 Jack-- 阅读(215) 评论(0) 推荐(0) 编辑
摘要: 在上一章我们安装了开发的IDE,但是要开发一个好的爬虫工具,我们还要安装一些第三方的库,现在很多第三方的库非常的成熟稳定了。我们可以直接拿来使用不用重复造轮子,开发效率大大的提高。下面我们就开始装库之路吧。 首先在vs2017如何安装第三方库?请看下面4个步骤: 1、在vs2017新建一个Pytho 阅读全文
posted @ 2018-05-28 17:12 Jack-- 阅读(276) 评论(0) 推荐(0) 编辑
摘要: 中国有句古话说:工欲善其事,必先利其器! 在我最开始学 Python 的时候,因为没有去探索好用的工具,吃了很多苦头。磕磕绊绊走过来之后才知道,好的工具给效率带来的提升不是从 1 到 1.1 倍速,而是从 1 到 10 倍速。 所以说编写和运行程序之前我们必须要先把开发环境配置好,只有配置好了环境并 阅读全文
posted @ 2018-05-25 10:45 Jack-- 阅读(219) 评论(0) 推荐(0) 编辑
摘要: 网站策划的目的是为了运营,以B2C网站为例,策划人员除了策划网站的前台页面之外,后台系统的策划也是必不可少的(如,产品发布模块,等某些大型 网站可能会有订单处理后台、结算处理后台等),我们必须先指明关键指标的适用角色,操作后台的角色无疑是:数据录入员、订单处理人员、结算人员。那对于他们而言是其关键指标就是:提升效率、降低差错率!如何提升效率并降低差错率,就成了我这所述的网站运营策划的关键指标和原则:原则1: 能在一个页面完成的工作,决不在两个页面实现!其实这涉及到了一个表单的问题,通常我们在前台设计时的原则是让用户填写最少的内容,获得最满意的信息。但在后台设计时恰恰相反,多一步的保存就是 对时 阅读全文
posted @ 2012-07-27 11:30 Jack-- 阅读(327) 评论(0) 推荐(1) 编辑
摘要: 总结:①序列化基本是指把一个对象保存到文件或流中,比如可以把文件序列化以保存到Xml中,或一个磁盘文件中 ②序列化以某种存储形式使自定义对象持久化; ③将对象从一个地方传递到另一个地方。 ④将类的值转化为一个一般的(即连续的)字节流,然后就可以将该流写到磁盘文件或任何其他流化目标上。 ⑥序列是指将对象的实例状态存储到存储媒体的过程。 在此过程中,先将对象的公共字段以及类的名称(包括类的程序集)转换为字节流,然后再把字节流写入数据流。在随后对对象进行反序列化时,将创建出与原对象完全相同的副本。 ⑦用处非常大,用于数据传输,对象存贮等。这些是我通过网上多方参考再结合自己的经验总结的。还是看实例.. 阅读全文
posted @ 2012-07-14 14:02 Jack-- 阅读(4123) 评论(0) 推荐(1) 编辑
摘要: 人们常说细节决定成败,一个很小的疏忽,可能造成很大的损失。其实古人早就非常重视细节了,就有“千里之堤,毁于蚁穴”,更有经典的故事述说一艘大船是如何毁于一块带有蛀虫的木板,其实这些故事都说明的一个道理,不重视细节,而最终酿成的大祸,更何况像我们这些码农了,写代码是一件严谨复杂的工作,就更要注重细节了。下面就直接列出重要几点,开门见山也是一件好事哦。不说了,看下面1.、尽量多写注释,别人用得到,你也用得到。2.、尽量使用属性来代替公共字段,属性更加安全和灵活。3.、减少强制类型转换,取而代之使用as或is运算符。4.、避免装箱和拆箱,减少系统性能的损失。5.、在声明变量的同时就对其初始化,从而减少 阅读全文
posted @ 2012-07-03 22:34 Jack-- 阅读(236) 评论(0) 推荐(0) 编辑