我的一次思维发散过程

月底了,电商的一位MM委托我帮忙找200份左右的网页设计的素材,说是急着要上交,来不及了.囧...
我问了几个问题.先把流程搞清楚了.
这个流程是这样的:
登陆到花瓣网 --> 索引需要的素材 --> 选择素材(小图) --> 到素材详细界面 -->右键另存为 -->弹出窗口选择下载存储目录 --> 返回上一界面 ....
以上过程重复200次.这得有多苦逼了...

我首先意识到可以设置默认下载地址,这样就可以省了一步流程,但还是很麻烦的.

其次可以考虑自动抓图工具,chrom插件中,这种工具大把,唯一麻烦的是需要FQ,但对我来说不是什么问题了.于是就安装了这个,但在使用过程中感觉不是很好,不够智能.首先不管什么图都下下来了,需要手动筛选,其次,下来的都是小图.

想到以前写过类似的爬虫程序,决定下班后自己写一个.

我仔细分析了花瓣网的页面结构,并且反复抓取后台返回的数据分析.终于发现了关键的地方! (注意那个 orig_source ,可以用正则精确匹配并抓取的)

 

 

剩下的就简单了,以下是爬虫的代码.

import sys
import urllib2
import re
import uuid
import random

path ="e:/huaban/"
def uniqify(seq):
    return {}.fromkeys(seq).keys()

def patt(p,str):
    pattern = re.compile(p,re.IGNORECASE)
    views = pattern.findall(str)
    return uniqify(views)

def getHref (url):
    data = "empty"
    try:
        data = urllib2.urlopen(url).read()
    except Exception,e:
        print e
    finally:
        return data

def trans(v):
    return v if v > 10 else "0" + str(v)

def writef(name,cont):
    if(cont == "empty"):
        return
    f = file(path + name, 'wb')
    f.write(cont)
    f.close()
    print "saved: "+name

def execute_task():
    page = random.randint(1, 10)
    host = "http://huaban.com/search/?q=%E7%BD%91%E9%A1%B5%E8%AE%BE%E8%AE%A1&h8wyjvjx&page=" + str(page) + "&per_page=300&wfl=1";
    page_content = getHref(host)
    op = r'(?<="orig_source":")(\S+?)(?:")'
    images = patt(op,page_content)
    for i in images:
        print(i)
        name = str(uuid.uuid1())+'.jpg'
        writef(name,getHref(i))

if __name__=="__main__":
    execute_task();

我测试了下,在一般网速下,2分钟就可以抓取200多张了. 考虑到MM本本上不会有python 的环境,我再用 pyinstall 打了个包. 至此总算完成了.

事后想想,这个程序还是太简单了,其实可以设置个配置文件,配置存储路径,抓取页面地址,匹配正则,抓取数目等等,再把多线程什么的也加上去,倒是个简单通用的产品呢.应该有市场,可是就想想,客户要会正则,会数据分析,那也是同道中人,估计人家会有更好的办法呢.
先写到这里吧.