python爬虫1：第一个爬虫

1。python2、3的库名不同，如果版本不同记得改。

Python2.x 有这些库名可用: urllib，urllib2，urllib3，httplib，httplib2，requests
Python3.x 有这些库名可用: urllib，urllib3，httplib2，requests

2。第一个简单的爬虫，获取链家当日房源数量

#!/usr/bin/env python  
# -*- coding: utf-8 -*-  
# python3
from urllib import request
import re
import time;  # 引入time模块

today_date = time.strftime("%Y-%m-%d", time.localtime()) 
gotpagebyte = request.urlopen("https://sz.lianjia.com/ershoufang/").read()
#python2里是urllib2.urlopen;此处获取到的是bytes，需要解码：
gotpagestr = gotpagebyte.decode('utf-8')
today_count_sz = re.match('.*count: (.*?),.*',gotpagestr,re.M|re.I|re.S).group(1)
print (today_date,today_count_sz)

3.虚拟环境。直接用root身份安装包时，对所有用户和项目起作用，有可能不同项目需要的包版本不同会冲突。因此可以设置虚拟环境，在虚拟环境中安装的包相对独立。先要安装python3-virtualenv。

在需要建立虚拟环境的目录下，运行virtualenv scraping。vfat分区会出现错误，貌似只能设置在linux分区中。