孔扎根

摘要： 此篇依赖于上一篇：Django之模型注册 我们在models.py中定义的表结构，在admin.py中将它们注册进去了，现在我们登陆django admin界面就会看到我们注册的所有表。 数据如下： 现在我们来拿Blog表，进行增删改查操作，它总共两个字段name,tagline。 进入项目目录下， 阅读全文

摘要： Selenium提供了一个类ActionChains来处理模拟鼠标事件，如单击、双击、拖动等。 基本语法： 方法列表 基本用法 应用举例 参考 文档： http://www.jb51.net/article/92682.htm 下拉滚动条 方法一： 使用js脚本直接操作 方法二、 将滚动条手动到指定 阅读全文

摘要： 接着上一篇：Django之创建项目 目的：一个空项目创建好了，我们在models.py中新增3张表并在admin界面中显示，并能操作它们。 示例models 编辑models.py 模型注册到admin 将表实例化到数据库 创建超级用户 登陆界面，输入超级用户名/密码 现在可以对你的表进行操作了，添 阅读全文

摘要： 安装django 安装完django之后就有了可用的管理工具django-admin.py,我们可以用它来创建我们的项目。 django-admin的语法： 创建我们的项目 创建工程 目录结构 初始化系统表 启动项目 页面访问项目 输入http://127.0.0.1:8001 项目已经运行成功了。 阅读全文

摘要： Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 阅读全文

摘要： 今天把scrapy的文档研究了一下，感觉有点手痒，就写点东西留点念想吧，也做为备忘录。随意写写，看到的朋友觉得不好，不要喷我哈。 创建scrapy工程 创建定向爬虫 查看目录结构 定义items 编写爬虫 解释： allowed_domains：定义允许访问的域名 start_urls：登陆人人网后 阅读全文

摘要： 操作系统 Python环境 Python安装 安装依赖： yum install gcc # 安装python必须 yum install zlib # 以下四个安装setuptools必须，如果安装在python后，则需要重新make python yum install zlib-devel y 阅读全文

摘要： BeautifulSoup支持大部分的CSS选择器，其语法为：向tag或soup对象的.select()方法中传入字符串参数，选择的结果以列表形式返回。 tag.select("string") BeautifulSoup.select("string") 源代码示例： 1、通过标签选择 2、通过类 阅读全文

摘要： 现在写一个利用scrapy爬虫框架爬取最新美剧的项目。 准备工作： 目标地址：http://www.meijutt.com/new100.html 爬取项目：美剧名称、状态、电视台、更新时间 1、创建工程目录 2、创建工程项目 3、查看目录结构 4、设置爬取项目(items.py) 5、编写爬取脚本 阅读全文

摘要： 目标：爬取全国报刊名称及地址 链接：http://news.xinhuanet.com/zgjx/2007-09/13/content_6714741.htm 目的：练习scrapy爬取数据 学习过scrapy的基本使用方法后，我们开始写一个最简单的爬虫吧。 目标截图： 1、创建爬虫工程 2、创建爬 阅读全文