[Python]网络爬虫(五):urllib2的使用细节与抓站技巧
摘要:转自:http://blog.csdn.net/pleasecallmewhy/article/details/8925978 前面说到了urllib2的简单入门,下面整理了一部分urllib2的使用细节。 1.Proxy 的设置 urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。 如果想在程序中明确控制 Proxy 而不受环境变量的影响,可以使用代理...
阅读全文
[Python]网络爬虫(九):百度贴吧的网络爬虫(v0.4)源码及解析
摘要:转自:http://blog.csdn.net/pleasecallmewhy/article/details/8934726 百度贴吧的爬虫制作和糗百的爬虫制作原理基本相同,都是通过查看源码扣出关键数据,然后将其存储到本地txt文件。 项目内容: 用Python写的百度贴吧的网络爬虫。 使用方法: 新建一个BugBaidu.py文件,然后将代码复制到里面后,双击运行。 程序功能: ...
阅读全文
[Python]网络爬虫(八):糗事百科的网络爬虫(v0.2)源码及解析
摘要:转自:http://blog.csdn.net/pleasecallmewhy/article/details/8932310 项目内容: 用Python写的糗事百科的网络爬虫。 使用方法: 新建一个Bug.py文件,然后将代码复制到里面后,双击运行。 程序功能: 在命令提示行中浏览糗事百科。 原理解释: 首先,先浏览一下糗事百科的主页:http://www.qiushibaike...
阅读全文
[Python]网络爬虫(七):Python中的正则表达式教程
摘要:转自:http://blog.csdn.net/pleasecallmewhy/article/details/8929576#t4 接下来准备用糗百做一个爬虫的小例子。 但是在这之前,先详细的整理一下Python中的正则表达式的相关内容。 正则表达式在Python爬虫中的作用就像是老师点名时用的花名册一样,是必不可少的神兵利器。 一、 正则表达式基础 1.1.概念介绍 正则表达式是用...
阅读全文
[Python]网络爬虫(六):一个简单的百度贴吧的小爬虫
摘要:转自:http://blog.csdn.net/pleasecallmewhy/article/details/8927832# -*- coding: utf-8 -*-#---------------------------------------# 程序:百度贴吧爬虫# 版本:0.1# 作者:why# 日期:2013-05-14# 语言:Python 2.7# 操作:输入带分页的地址,去掉最后面的数字,设置一下起始页数和终点页数。# 功能:下载对应页码内的所有页面并存储为html文件。#-------------------------------------...
阅读全文
[Python]网络爬虫(四):Opener与Handler的介绍和实例应用
摘要:转自:http://blog.csdn.net/pleasecallmewhy/article/details/8924889 在开始后面的内容之前,先来解释一下urllib2中的两个个方法:info and geturl urlopen返回的应答对象response(或者HTTPError实例)有两个很有用的方法info()和geturl() 1.geturl(): 这个返回获取的真实...
阅读全文
[Python]网络爬虫(三):异常的处理和HTTP状态码的分类
摘要:转自:http://blog.csdn.net/pleasecallmewhy/article/details/8923725 先来说一说HTTP的异常处理问题。 当urlopen不能够处理一个response时,产生urlError。 不过通常的Python APIs异常如ValueError,TypeError等也会同时产生。 HTTPError是urlError的子类,通常...
阅读全文
[Python]网络爬虫(二):利用urllib2通过指定的URL抓取网页内容
摘要:转自:http://blog.csdn.net/pleasecallmewhy/article/details/8923067 所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地。 类似于使用程序模拟IE浏览器的功能,把URL作为HTTP请求的内容发送到服务器端, 然后读取服务器端的响应资源。 在Python中,我们使用urllib2这个组件来抓取网页。 ...
阅读全文
[Python]网络爬虫(一):抓取网页的含义和URL基本构成
摘要:转自:http://blog.csdn.net/pleasecallmewhy/article/details/8922826一、网络爬虫的定义网络爬虫,即Web Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。 网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。这样看来,网络爬虫就是一个爬
阅读全文
[Python]项目打包:5步将py文件打包成exe文件 简介
摘要:1.下载pyinstaller并解压(可以去官网下载最新版): http://nchc.dl.sourceforge.net/project/pyinstaller/2.0/pyinstaller-2.0.zip 2.下载pywin32并安装(注意版本,我的是python2.7): http://download.csdn.net/download/lanlandechong/4367925...
阅读全文
关于python打包成exe的一点经验之谈
摘要:我经常用python写些脚本什么的,有时候脚本写完以后,每次运行都得在IDE打开在运行,很麻烦,所以经常将python编译成exe.SO...有了一点经验,在这和大家分享一下。 python 打包成exe 主要有两种,一种是py2exe,另一种便是pyInstaller,之前我是用py2exe的,但是我后来发现py2exe存在问题:1,打包好的 exe只能在相同的系统下运行,比如你在XP系统用py2exe打包好的exe只能在XP上运行,在win7上肯定有问题,而且也是存在在别的XP机子上也可能不能运行,因为一些别的机子可能会缺少dll文件什么的,作者我当时之所以抛弃py2exe 也是因为这个.
阅读全文
短信api接口
摘要:1.需要用到的结构typedef struct _SM_PARAM{char SCA[16];//+8613552678753// 短消息服务中心号码(SMSC地址)char TPA[16];// 目标号码或回复号码(TP-DA或TP-RA)char TP_PID;// 用户信息协议标识(TP-PID),00 GSM短信,[99短信状态报告,内部标识]char TP_DCS;// 用户信息编码方式(TP-DCS)char TP_SCTS[16];//030325122030// 服务时间戳字符串(TP_SCTS), 接收时用到char ...
阅读全文
Openerp 7 view画面编辑/创建/删除/复制功能控制
摘要:OpenERP 7.0中,Tree或Form画面上可以添加属性create edit delete,用于控制Create、Delete、Edit、Duplicate功能是否显现。如下例: 如果create="0"则Create和Duplicate按钮都不会显示。text字段可以使用height控制text区域高度,如下例:
阅读全文
OpenERP的短信(SMS)接口
摘要:今天测试了一下OpenERP的短信(SMS)接口。在OpenERP的Partner界面上,WebClient的右边的工具条有个“send sms”的按钮。OpenERP中发短信用的是短信的Web接口,国内有很多提供Web接口的短信群发公司。OpenERP短信发送相关的代码在 bin\tools\misc.py中:程序代码: [选择]def sms_send(user, password, api_id, text, to): import urllib url = "http://api.urlsms.com/SendSMS.aspx" #url = "http:
阅读全文
redis_session_store.py
摘要:# -*- coding: utf-8 -*-"""Created on 09/11/2011@author: Carlo Pires """import tnetstringfrom werkzeug.contrib.sessions import SessionStore SESSION_TIMEOUT = 60*60*24*7 # 7 weeks in seconds class Re...
阅读全文
使用Nginx Upstream 部署 OpenERP
摘要:Openerp 6.1 使用werkzeug 作为web服务的框架,性能比之前的cherrypy 有了很大的改善。但无论是 werkzeug 还是cherrypy ,都不是专门的web服务器。通常的做法是在openerp 之前加一个 Nginx、Apache或其他服务器。下面介绍使用Nginx Upstream 部署openerp 的方法。一 前提此处假设您已经安装好 openerp ,并运...
阅读全文
OpenERP 负载平衡
摘要:OpenERP 7.0 带来了许多新特性,架构上也有许多改进。其中可配置 worker 参数,可使 OpenERP 运行在多进程模式,突破GIL的限制,有效利用了现代多核CPU的性能。但默认情况下,OpenERP 只能运行于一台服务器,对于提供SAAS服务或并发很大的情况下,单台服务器的性能是有限的。本文介绍实现 OpenERP 负载平衡的方法和原理。 一、架构 ┌────────...
阅读全文
HTML字符实体举例说明
摘要:html代码的意思<>&©∧∨"&qpos;下面网址有详细说明:http://en.wikipedia.org/wiki/List_of_XML_and_HTML_character_entity_references
阅读全文
全国出现大面积DNS服务器故障 域名被劫持
摘要:1月21日消息,继今日上午腾讯16项服务出现故障后,大量网站出现了无法访问的情况,据了解,该故障是由于国内DNS根服务器故障所致。 据了解,此次攻击式由于国内所有通用顶级域的根服务器出现异常,导致大量网站域名解析不正常,域名访问请求被跳转到了几个没有响应的IP地址。 有安全行业人士表示此次故障是有黑客劫持了DNS服务器。360方面表示,此次DNS故障爆发后,众多知名网站的域名均被劫持到一个...
阅读全文
通过修改css文件来观察openerp表单中的col和colspan
摘要:适用版本 openerp 6.1.1问题的提出在openerp的表单定义中, 要使用 colspan和col 指你定各个元素的占位,前者说明了本元素占据其所在容器的列数, 后者说明了本元素作为容积时划分成几列如下是employee表单定义的一部分, 取自文件 \path\openerp\addons\hr\hr_view.xml ...
阅读全文
win7官方下载地址
摘要:win7官方下载地址http://microsoftstore.me/category/microsoft/windows/
阅读全文
首页登录界面翻译问题
摘要:改addons/web/i18n/zh_CN.po其它页面的改动都能生效,就只有登录首页的不行。用的是导出翻译,再导入翻译的方法,导入完之后也查看了数据库,发现value已经更新了。但页面还是没有反应。search过,'Manage Database'只在这里出现。发现PO是没有问题的。。。ir_translation这张表也显示已经translated了。 解决方法: 把 web 下面的 zh_CN.po 复制一个 zh.po,不需要导入,立即生效 D:\3lp\studio\OpenERP\source7.0\oe7.0\openerp\addons\web\control
阅读全文
openerp修改logo和title
摘要:LOGO的修改addons\web\static\src\img下面的:favicon.ico文件和logo2.png\addons\web\static\src\xml\base.xml#82 line 修改登陆界面最下面的 Powered by OpenERP#468 line Powered by PCBERPaddons\web\static\src\js\chrome.js, 搜索下面一行:document.title = title + sep + 'OpenERP';\addons\web\controllers\main.py#544 linePCBERP下面可
阅读全文
Python中map()函数浅析
摘要:MapReduce的设计灵感来自于函数式编程,这里不打算提MapReduce,就拿python中的map()函数来学习一下。文档中的介绍在这里:map(function, iterable, ...)Apply function to every item of iterable and return a list of the results. If additional iterable arguments are passed, function must take that many arguments and is applied to the items from all iter
阅读全文
openerp 7.0 来自外部的邮件会发送二次问题解决方法
摘要:插入代码:\addons\mail\mail_mail.py #309 linethis = self.pool.get('res.users').browse(cr, uid, uid, context=context)if tools.email_split(email.get('email_to')[0])[0].split('@')[1]==this.alias_domain and tools.email_split(mail.email_from)[0].split('@')[1]!=this.alias_domain
阅读全文
openerp 7.0接收陌生邮件名称显示乱码问题解决方法
摘要:修改代码:addons\mail\mail_thread.py #858 line #msg_dict['email_from'] = decode(message.get('from'))msg_dict['email_from'] = str(tools.email_split(decode(message.get('From')))[0])
阅读全文
openerp7.0接收邮件时别名区分大小写问题,以及处理非别名域邮件问题解决方法
摘要:修改代码addons\mail\mail_thread.py #550 line#local_parts = [e.split('@')[0] for e in tools.email_split(rcpt_tos)]1 this = self.pool.get('res.users').browse(cr, uid, uid, context=context)#插入一行2 local_parts = [e.split('@')[1] == this.alias_domain and e.split('@')[0] or '
阅读全文
在OpenERP8.0中如何激活及时通讯功能im
摘要:How to activate chat (im) in v8 (trunk) I know its already answered that chat (im) is only available from v8, but I have trunk running and the im and
阅读全文
python easy_install 发生Unable to find vcvarsall.bat错误的处理方法
摘要:用python安装mmseg分词包时发生了 Unable to find vcvarsall.bat 错误 Searching for mmsegReading http://pypi.python.org/simple/mmseg/Best match: mmseg 1.3.0Downloading http://pypi.python.org/packages/source/m/mms...
阅读全文
use of _track and track_visibility
摘要:Dosen't work...the followers don't recieve an email when the state is change. Here is the code in the document.py_track = { 'state': { 'mt_escribano_stage': lambda self, cr, uid, obj, ct...
阅读全文
openerp发送给群组信息
摘要:发送给群组 self.pool.get('mail.group').message_post(cr, uid, [1], body=_('Welcome to ! Please help him/her take1 the first steps with OpenERP!'), subtype='
阅读全文
How to use OpenChatter in my addon
摘要:from:https://doc.openerp.com/trunk/mail/mail_openchatter_howto/A small my_task model will be used as example to explain how to use the OpenChatter feature. Being simple, it has only the following fields :a namea task responsiblea related projectclass my_task(osv.osv): _name = "my.task" _de
阅读全文
Openerp 7.0消息推送
摘要:在一个文档的state变化时,需要将变化情况告知关注用户,通过研究account.invoice的代码,发现是经过如下过程实现此功能的:1、添加一个消息阶段: paid account.invoice 2、定义state变更时的触发函数:def confirm_paid(self, cr, uid, ids, context=None): if context is None: context = {} self.write(cr, uid, ids, {'state':'paid'}...
阅读全文
如何固定OpenERP顶的主菜单,方便滚动至第二屏以及多屏时,快速切换主菜单
摘要:如何固定OpenERP顶的主菜单,方便滚动至第二屏以及多屏时,快速切换主菜单 作者:广州-步科,来自OpenERP应用群() 将“addons\web\static\src\css”目录下的“base.css”进行如下更改: 在最后增加: .openerp .oe_topbar { position
阅读全文
OpenERP 7中 openerp-server.conf 的解释
摘要:服务器启动配置 – 通用项程序代码: [选择]# Admin password for creating, restoring and backing up databasesadmin_passwd = admin# default CSV separator for import and exportcsv_internal_sep = ,# to compress reportsrep...
阅读全文
在openerp撰写消息中增加图片
摘要:openerp的撰写消息中, 在文本输入框中, 具有设置文本字体,设置对齐方式 等多种功能, 就像像写这篇新浪blog一样, 可以输入富文本信息。 美中不足的是, 它不能插入图片。 我们如何才能让openerp在撰写消息时插入图片呢?方法很简单。 因为openerp使用的富文本编辑器是cleditor。 cleditor的工具条已经具备了插入图片的功能, 只要在初始化时设置上就行。在open...
阅读全文
Python接收邮件并保存至MySQL
摘要:转自:http://www.360doc.com/content/14/0103/13/11789990_342303735.shtml参考了一些网络上的资料,做了个简单程序,使用python接收邮件并保存到mysql中。#-------------------------------------------------------------------------------# Name: 接收邮件模块# Purpose:## Author: garfield## Created: 15-02-2011# Copyright: (c) garfield ...
阅读全文
openerp 7.0邮件接收中文附件乱码问题解决办法
摘要:openerp 7.0邮件接收中文附件乱码问题解决办法: 修改文件\addons\mail\mail_thread.py #1064 line插入代码: h=email.Header.Header(name) dh=email.Header.decode_header(h) name=dh[0][0].decode(dh[0][1])参考资料:http://www.360doc.com/content/11/0410/20/4825484_108669766.shtml
阅读全文