摘要: 1sys.argv 描述:记录命令行参数 类别:列表(可以使用列表方法来访问) #!/usr/bin/env python import sys def main(argv): for arg in argv: print arg if __name__ == '__main__': main(sy 阅读全文
posted @ 2017-01-21 15:49 知行Lee 阅读(310) 评论(0) 推荐(0) 编辑
摘要: 1读写模式 r以读方式打开文件,可读取文件信息 w已写方式打开文件,可向文件写入信息。如文件存在,则清空,再写入 a以追加模式打开文件,打开文件可指针移至末尾,文件不存在则创建 r+以读写方式打开文件,可对文件进行读和写操作 w+消除文件内容,以读写方式打开文件 a+以读写方式打开文件,文件指针移至 阅读全文
posted @ 2017-01-21 15:49 知行Lee 阅读(4202) 评论(0) 推荐(0) 编辑
摘要: 1.显示等待 等待页面加载完成,找到某个条件发生后再继续执行后续代码,如果超过设置时间检测不到则抛出异常 WebDriverWait(driver, timeout, poll_frequency=0.5, ignored_exceptions=None) ——driver:WebDriver 的驱 阅读全文
posted @ 2017-01-21 15:47 知行Lee 阅读(34957) 评论(0) 推荐(3) 编辑
摘要: #由于js逐步加载页面,存在未显示的网页无法加载源码 from selenium import webdriver driver = webdriver.Firefox() init_element = driver.find_element_by_xpath('//a[@href="#" and 阅读全文
posted @ 2017-01-21 15:46 知行Lee 阅读(2684) 评论(0) 推荐(0) 编辑
摘要: #配置文件路径:%HOME%\pip\pip.ini,不存在新建即可 #在 Windows 2000 以上版本里,%HOME% 目录指的是系统盘下的“\Documents and Settings\你的用户名” 个人配置: [global] trusted-host=rnd-mirrors.huaw 阅读全文
posted @ 2017-01-21 15:44 知行Lee 阅读(1952) 评论(0) 推荐(0) 编辑
摘要: 1.codecs模块帮我们在读文件时自动转换编码 要读取非ASCII编码的文本文件,就必须以二进制模式打开,再解码。比如GBK编码的文件: >>> f = open('/Users/michael/gbk.txt', 'rb') >>> u = f.read().decode('gbk') >>> 阅读全文
posted @ 2017-01-21 15:43 知行Lee 阅读(1370) 评论(0) 推荐(0) 编辑
摘要: 在爬取网站内容的时候,最常遇到的问题是:网站对IP有限制,会有防抓取功能,最好的办法就是IP轮换抓取(加代理) 下面来说一下Scrapy如何配置代理,进行抓取 1.在Scrapy工程下新建“middlewares.py” # Importing base64 library because we'l 阅读全文
posted @ 2017-01-21 15:42 知行Lee 阅读(861) 评论(0) 推荐(0) 编辑
摘要: #coding=utf-8 #公司网络只有连接vpn跳板机才能使用该模块 import urllib2 proxy_handler=urllib2.ProxyHandler({'http':'http://username:password@proxyhk.huawei.com:8080', 'https':'https:// username:password @proxyhk.huawei.... 阅读全文
posted @ 2017-01-21 15:41 知行Lee 阅读(3589) 评论(0) 推荐(0) 编辑
摘要: 删除C:\Program Files (x86)\Google文件夹下面的updata文件夹 阅读全文
posted @ 2017-01-21 15:37 知行Lee 阅读(693) 评论(0) 推荐(0) 编辑
摘要: 廖雪峰python教程: http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000 简明python教程: http://www.kuqin.com/abyteofpython_cn/inde 阅读全文
posted @ 2017-01-21 15:36 知行Lee 阅读(266) 评论(0) 推荐(0) 编辑
摘要: Natural earth: Free vector and raster map data download http://www.naturalearthdata.com/downloads/ openstreetmap:开源地图 1openstreetmap.org 网站本身提供地图数据的下载 阅读全文
posted @ 2017-01-21 15:35 知行Lee 阅读(390) 评论(0) 推荐(0) 编辑
摘要: 2. 下载Oracle Instant Client (32-bit) 只需要下载instantclient-basic-nt-11.2.0.3.0.zip就可以了,其它的都是一些根据不同需要扩展的包。 下载地址:http://www.oracle.com/technetwork/topics/wi 阅读全文
posted @ 2017-01-21 15:26 知行Lee 阅读(5958) 评论(0) 推荐(0) 编辑
摘要: 一、 Scrapy简介 Scrapy is a fast high-level screen scraping and web crawling framework, used to crawl websites and extract structured data from their page 阅读全文
posted @ 2017-01-21 15:15 知行Lee 阅读(309) 评论(0) 推荐(0) 编辑
摘要: yield的英文单词意思是生产,刚接触Python的时候感到非常困惑,一直没弄明白yield的用法。 只是粗略的知道yield可以用来为一个函数返回值塞数据,比如下面的例子: def addlist(alist): for i in alist: yield i + 1 取出alist的每一项,然后 阅读全文
posted @ 2017-01-21 15:13 知行Lee 阅读(7631) 评论(0) 推荐(0) 编辑
摘要: 一、os模块概述 Python os模块包含普遍的操作系统功能。如果你希望你的程序能够与平台无关的话,这个模块是尤为重要的。(一语中的) 二、常用方法 1、os.name 输出字符串指示正在使用的平台。如果是window 则用'nt'表示,对于Linux/Unix用户,它是'posix'。 2、os 阅读全文
posted @ 2017-01-21 15:05 知行Lee 阅读(492) 评论(0) 推荐(0) 编辑
摘要: shutil.copyfile( src, dst) 从源src复制到dst中去。当然前提是目标地址是具备可写权限。抛出的异常信息为IOException. 如果当前的dst已存在的话就会被覆盖掉 shutil.move( src, dst) 移动文件或重命名 shutil.copymode( sr 阅读全文
posted @ 2017-01-21 15:04 知行Lee 阅读(5263) 评论(0) 推荐(0) 编辑
摘要: 背景知识: PhantomJS 是一个基于WebKit的服务器端 JavaScript API。它全面支持web而不需浏览器支持,其快速,原生支持各种Web标准: DOM 处理, CSS 选择器, JSON, Canvas, 和 SVG。PhantomJS可以用于页面自动化,网络监测,网页截屏,以及 阅读全文
posted @ 2017-01-21 14:57 知行Lee 阅读(3731) 评论(0) 推荐(0) 编辑
摘要: 一osm2pgsql+postgresql+postgis osm2pgsql­——是由OpenStreetMap开发的一个命令行工具负责将OSM数据导入到基于PostgresSql的Postgis的数据库中。下载地址:http://customdebug.com/osm/osm2pgsql.zip 阅读全文
posted @ 2017-01-21 14:54 知行Lee 阅读(25170) 评论(1) 推荐(2) 编辑
摘要: Postgresql——Postgresql是一种对象关系型数据库。下载地址:http://www.postgresql.org/download/ postgis (可选)——是一个空间数据库,它扩展自Postgresql对象关系型数据库,它添加了地理信息对象通过本地的SQL查询。因为在安装Pos 阅读全文
posted @ 2017-01-21 14:54 知行Lee 阅读(1506) 评论(0) 推荐(0) 编辑
摘要: 1.形式 [表达式 for 变量 in 列表] 或者 [表达式 for 变量 in 列表 if 条件] 2.demo #!/usr/bin/python # -*- coding: utf-8 -*- li = [1,2,3,4,5,6,7,8,9] print [x**2 for x in li] 阅读全文
posted @ 2017-01-21 14:53 知行Lee 阅读(291) 评论(0) 推荐(0) 编辑