Python练习—Google’s Python Class

首先介绍下正则表达式：

1)python中提供了re模块来进行正则表达式支持，因此第一步 import re

2)几个常用的方法：

match = re.search(pat, str)  

注意点：1.match是个对象,使用match.group()来输出匹配文本,若失败返回None

       2.search从str的起始处开始处理，在第一个匹配处结束

       3.所有的模式都必须匹配上，但并不是所有的字符串都要匹配一遍

       4.首先找到匹配模式的最左边，然后尽可能的往右尝试

list = re.findall(pat, str) 搜索所有的匹配项，以列表形式返回

注意点：1.可以用f.read()把所有文本都丢给findall

       2.使用（）后，返回的是元组的列表

re.sub(pat,replacement,str) 搜索所有匹配项，并进行替换，匹配字符串可以包括\1,\2来引用group(1),group(2)的内容

3)基本模式

普通字符原样匹配，元字符会特殊处理. ^ $ * + ? { [ ] \ | ( )

.匹配除了\n外的任意字符

\w 匹配一个字符[a-zA-Z0-9_] 

\W 匹配非上面的任意字符

\b 字符和非字符的边界

\s 匹配单个空格 [ \n\r\t\f]

\S 匹配非空格字符

\t, \n, \r   制表，换行，回车

\d 十进制数

^ 开始 $结束

\ 转义

[] 指明字符集，注意这时.就代表 [^]代表取反

() 分组抽取，组特性允许抽取部分匹配文本

重复：

+ 出现一次或多次

* 出现0次或多次

? 出现0次或一次，在正则表达式后面加?可以取消贪婪搜索

 

BUG Fixed:

WIN7+MINGW：

使用commands.getstatusoutput()函数，由于cmd加上了{,出现歧义，需要矫正

def getstatusoutput(cmd):
    """Return (status, output) of executing cmd in a shell."""

    import sys
    mswindows = (sys.platform == "win32")

    import os
    if not mswindows:
      cmd = '{ ' + cmd + '; }'

    pipe = os.popen(cmd + ' 2>&1', 'r')
    text = pipe.read()
    sts = pipe.close()
    if sts is None: sts = 0
    if text[-1:] == '\n': text = text[:-1]
    return sts, text

 

Google’s Class介绍了基本的内容，包括：字符串操作，列表操作，排序操作，字典和文件操作，正则表达式操作，一些辅助工具操作

提供的练习包括：字符串，列表使用；正则表达式，文件使用；辅助工具使用。并提供了参考代码。

特别是最后一个练习，根据文件提取图片地址，并下载，生成HTML文件的。稍微修改就可以用来订阅网站内容的功能，值得初学者练习使用。

 

这里贴个代码（新浪图片页面指定部分抓取）：

#!/usr/bin/python
# -*- coding: utf-8 -*-
# Copyright 2010 Google Inc.
# Licensed under the Apache License, Version 2.0
# http://www.apache.org/licenses/LICENSE-2.0

# Google's Python Class
# http://code.google.com/edu/languages/google-python-class/

import os
import re
import sys
import urllib


"""Logpuzzle exercise
Given an apache logfile, find the puzzle urls and download the images.

Here's what a puzzle url looks like:
10.254.254.28 - - [06/Aug/2007:00:13:48 -0700] "GET /~foo/puzzle-bar-aaab.jpg HTTP/1.0" 302 528 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6"
"""
def grep_file(url):
  filename='test.html'
  abspath=os.path.abspath(filename)
  urllib.urlretrieve(url,abspath)

def read_urls(filename):
  """Returns a list of the puzzle urls from the given log file,
  extracting the hostname from the filename itself.
  Screens out duplicate urls and returns the urls sorted into
  increasing order."""
  # +++your code here+++
  url=[]
  piclist=[]
  """firstpart=re.search(r'(.*)_(.*)',filename)
  if firstpart:
    first=firstpart.group(2)"""

  try:
    f=open(filename,'rU')
    """for line in f:
      urline=re.search(r'GET\s(.*\.jpg)\sHTTP/1.0',line)
      if urline:
        urlpart=urline.group(1)
        str='http://'+first+urlpart
        if str not in url:
          url.append(str)"""
    url=re.findall('<!--写真 start-->([\w\W]*?)<!--写真 end-->',f.read().decode('gbk').encode('utf-8'))
    f.close()
  except IOError as (errno, strerror):
    sys.stderr.write("I/O error({0}): {1}".format(errno, strerror))
  """def MyFn(name):
    base=os.path.basename(name)
    set=re.findall(r'(.*?)[-.]',base)
    if set:
      #print set[0],set[1],set[2]
      return set[2]
    else:
      return base
  url=sorted(url,key=MyFn)
  #url.sorted()"""
  for i in url:
    piclist=re.findall(r'<img src="(.*?)"',i)
  return piclist


def download_images(img_urls, dest_dir):
  """Given the urls already in the correct order, downloads
  each image into the given directory.
  Gives the images local filenames img0, img1, and so on.
  Creates an index.html in the directory
  with an img tag to show each local image file.
  Creates the directory if necessary.
  """
  # +++your code here+++
  abspath=os.path.abspath(dest_dir)
  if not os.path.exists(abspath):
    os.mkdir(abspath)

  count=0
  for i in img_urls:

    fn=abspath+'\img'+str(count)
    print 'Retrieving...'+fn
    urllib.urlretrieve(i,fn)
    count+=1

  #create html
  toshow=''
  htmlpath=os.path.join(abspath,'index.html')

  f=open(htmlpath,'w')
  for i in range(count):
    toshow+='<img src="img'+str(i)+'">'
  f.write(toshow)
  f.close


def main():
  args = sys.argv[1:]

  if len(args)>0 and args[0] == '-h':
    print 'usage: [--todir dir]'
    sys.exit(1)

  todir = ''
  if len(args)>0 and args[0] == '--todir':
    todir = args[1]
    del args[0:2]

  url='http://ent.sina.com.cn/photo/'
  grep_file(url)

  #read_urls('test.html')
  img_urls = read_urls('test.html')

  if todir:
    download_images(img_urls, todir)
  else:
    print '\n'.join(img_urls)

if __name__ == '__main__':
  main()