摘要：
#!/usr/bin/env python # -*- coding:utf-8 -*- """ 1.抓取索引页内容，利用requests请求目标站点，得到索引网页Htnl代码，返回结果 2.抓取详情页内容，解析返回结果，得到详情页的链接，并进一步抓取详情页的信息 3.下载图片与保存数据库，将图片下载到本地，并把页面信息及图片URL保存到MongDB 4.开启循环... 阅读全文
摘要：
#!/usr/bin/env python # -*- coding:utf-8 -*- """ MongoDB存储 在这里我们来看一下Python3下MongoDB的存储操作，在本节开始之前请确保你已经安装好了MongoDB并启动了其服务，另外安装好了Python 的PyMongo库。 连接MongoDB 连接MongoDB我们需要使用PyMongo库里面的Mongo... 阅读全文
摘要：
# 用户代理 agents = [ "Mozilla/5.0 (Linux; U; Android 2.3.6; en-us; Nexus S Build/GRK39F) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1", "Avant Browser/1.2.789rel1 (http:... 阅读全文
摘要：
# !/usr/bin/env python # -*- coding;utf-8 -*- 网络爬虫类型：1、通用网络爬虫。2、聚焦网络爬虫（主题网络爬虫）。3、增量式网络爬虫。4、深层网络爬虫 1、通用网络爬虫 通用网络爬虫首先我们来看通用网络爬虫的实现原理。通用网络爬虫的实现原理及过程可以简要概括如下。 1）获取初始的URL。初始的URL地址可以由用户人为地指定，也可以由用户... 阅读全文
摘要：
这里是 Jinja2通用模板语言的文档。 Jinja2 在其是一个 Python 2.4 库之前，被设计 为是灵活、快速和安全的。如果你接触过其它的基于文本的模板语言，比如 Smarty 或 Django ，那么 Jinja2 会让你有 宾至如归的感觉。Jinja2 通过坚持 Python 原则来保 阅读全文
摘要：
virtualenv是创建孤立的Python环境的工具。正在解决的基本问题是依赖和版本之一以及间接权限。想象一下，您有一个需要LibFoo版本1的应用程序，但另一个应用程序需要版本2.如何使用这两个应用程序？如果您安装所有内容/usr/lib/python2.7/site-packages（或任何平 阅读全文
摘要：
Linux主要被用作服务器的操作系统，因为它的廉价、灵活性及Unix背景。传统上，以Linux为基础的“LAMP（Linux，Apache，MySQL，Perl/PHP/Python的组合）”技术，除了已在开发者群体中广泛流行，它提供网站服务供应商最常使用的平台。Linux操作系统有字符和图像两种工 阅读全文
摘要：
#!/usr/bin/python # -*- coding:utf-8 -*- Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。 "shell编程" 都是指 shell 脚本编程，不是指开发 shell 自身。 Linux 的 Shell 种类众多，常见的有： Bourne Shell（/usr/bin/sh或/bin/sh） Bourne ... 阅读全文
摘要：
Model 到目前为止，当我们的程序涉及到数据库相关操作时，我们一般都会这么搞： 创建数据库，设计表结构和字段 使用 MySQLdb 来连接数据库，并编写数据访问层代码 业务逻辑层去调用数据访问层执行数据库操作 import MySQLdb def GetList(sql): db = MySQLd 阅读全文
摘要：
Python的WEB框架有Django、Tornado、Flask 等多种，Django相较与其他WEB框架其优势为：大而全，框架本身集成了ORM、模型绑定、模板引擎、缓存、Session等诸多功能。 基本配置 一、创建django程序 终端命令：django-admin startproject 阅读全文