Python爬取自如租房信息，一线城市房租好贵

北上广深作为打工人最多的超一线城市，大部分都是租房生活着，自如作为目前第三方租房平台，应该算是该行业的龙头。那么自如都有多少open状态的房源呢，这些房源都是什么样的呢？今天我们获取了一些自如北上广深四个城市房源信息，这里就以上海的数据来做详细的介绍吧。

我发现自如的每个筛选结果最多展示50页，约1500个左右。然后很多地区的租房数量超过1500个，所以我们可以通过增加筛选的方式进行遍历获取全部租房信息。还有就是我们在在爬虫过程中，会发现频繁的请求数据会被封IP，所以访问这个网站我们的注意事项是：需要采用IP代理，避免封IP后无法请求数据。由于爬虫部分的处理其实比较麻烦，考虑篇幅有限，这里仅做核心部分讲解，主要是采用代理获取房源信息的过程，其他的我们在后续再做专题介绍。

房源信息获取如下：

#! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "http://ziroom.com/"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://ziroom.com/"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text

从获取到的数据分析我们可以看到，就房间本身而言，价格、大小、楼层、卧室朝向以及距离地铁站距离等等都是我们在选择的时候会考虑的点。大家在租房时主要考虑的因素是什么呢？