随笔分类 - Python
摘要:python中常用的写爬虫的库有urllib2、requests,对于大多数比较简单的场景或者以学习为目的,可以用这两个库实现。这里有一篇我之前写过的用urllib2+BeautifulSoup做的一个抓取百度音乐热门歌曲的例子,有兴趣可以看一下。本文介绍用Scrapy抓取我在博客园的博客列表,只抓...
阅读全文
摘要:官方解释:Apply function of two arguments cumulatively to the items of iterable, from left to right, so as to reduce the iterable to a single value. For ex...
阅读全文
摘要:之前写过一个用python实现的百度新歌榜、热歌榜下载器的博文,实现了百度新歌、热门歌曲的爬取与下载。但那个采用的是单线程,网络状况一般的情况下,扫描前100首歌的时间大概得到40来秒。而且用Pyqt做的界面,在下载的过程中进行窗口操作,会出现UI阻塞的现象。 前两天有时间调整了一下,做了几方面的改进: 1.修改了UI界面阻塞的问题,下载的过程中可以进行其它的UI操作; 2.爬虫程序采用一个...
阅读全文
摘要:前面说完了此项目的创建及数据模型设计的过程。如果未看过,可以到这里查看,并且项目源码已经放大到github上,可以去这里下载。代码也已经部署到sina sea上,地址为http://fengzheng.sinaapp.com/先跳过视图展示及表单处理的部分,先介绍一下如何部署。标题中已经把部署环境介...
阅读全文
摘要:提到数据模型,一定要说一下MVC,MVC框架是现代web开发中最流行的开发框架,它将数据与业务逻辑分开,减小了应用之间的高度耦合。个人非常喜欢MVC开发框架,除了具有上述特性,它使得web开发变得非常灵活,在ASP.NET上表现的尤为强烈,传统的ASP.NET开发常常用到好多臃肿的服务器端控件,定制...
阅读全文
摘要:开发之前第一步,就是构造整个的项目结构。这就好比作一幅画,第一步就是描绘轮廓,有了轮廓,剩下的就是慢慢的填充细节。项目结构规划如下图:项目结构描述:本项目以fengzhengBlog为根目录。admin、blogapp是两个app目录,用于实现项目主要功能:包括模型定义、视图定义等css、js、im...
阅读全文
摘要:功能概要:(目前已实现功能)公共展示部分:1.网站首页展示已发布的博客记录,包括名称、摘要信息、发布日期、阅读量及评论数。2.首页文章列表可按照分类筛选。3.点击标题或阅读全文链接,进入博客阅读页面,展示文章标题、内容及评论内容。博客后台管理部分:(后台套用了一个叫做ACE的后台模板,改造成了dja...
阅读全文
摘要:UEditor是由百度web前端研发部开发所见即所得富文本web编辑器,具有轻量,可定制,注重用户体验等特点,开源基于MIT协议,允许自由使用和修改代码。首先从ueEditor官网下载最新版本的包,目前官网上提供了ASP、.NET、PHP、JSP版本的,django版本只有一个第三方个人开发的,但看...
阅读全文
摘要:首先声明,本工具仅仅为学习之用,不涉及版权问题,因为百度音乐里面的歌曲本身是可以下载的,而且现在百度也提供了”百度音乐播放器”,可以通过这个工具进行批量下载。我当时做这个工具的时候,百度还没有提供”百度音乐播放器”,而我又想批量下载,所以做了这样的一个下载工具。当然,主要还是为了学习。工具采用Pyt...
阅读全文
摘要:源码编译方式安装Apache首先下载Apache源码压缩包,地址为http://mirror.bit.edu.cn/apache/httpd/继续下载apr和apr-util压缩包,地址为http://mirror.bit.edu.cn/apache/apr/下载pcre压缩包,地址为http://ftp.exim.llorien.org/pcre/l 安装arptar -zxf apr-1.5.0.tar.gz #解压压缩包 压缩包名称根据版本号决定cd apr-1.5.0 #进入解压目录./configure --prefix=/usr/local/apr #进行安装配置 设置安装位置ma
阅读全文
摘要:大体上把Python中的数据类型分为如下几类: Number(数字) 包括int,long,float,complex String(字符串) 例如:hello,"hello",hello List(列表) 例如:[1,2,3],[1,2,3,[1,2,3],4] Dictionary(字...
阅读全文
摘要:本人安装的是Python 2.7版本,由于编写程序的过程中会碰到中文字符串,但由于Python默认采用ASCII编码方式,所以对中文不支持。要解决此问题,必须设置当前编码方式为Unicode方式。默认ASCII编码方式对中文字符产生的异常为:UnicodeDecodeError: 'ascii' codec can't decode byte 0xe9 in position 0: ordinal not in range(128)解决方案:首先在文件头加入如下设置:#! /usr/bin/env python-*- coding: utf-8 -*-对需要 str-&
阅读全文