ACG图片站\python爬虫\LAMP环境

最近突然对web很感兴趣，碰巧看到阿里云服务器学生价十块钱一个月，果断买了一个自己搭建了一个网站。

 网址 这里

LAMP环境就搭建了好久，linux+apache2+mysql+php，都是开源的软件，而且都很好用。

每个软件都可以在网上找到博文，一路百度下来，搞了一晚上终于搭好了。

 

之后自己写了一个提交代码查看代码的html网页，很简单。

看了php，下载了一个图片瀑布流的代码，改来改去，终于是能用了。

 

最后这个周末把之前的python代码改了改，添加了数据库相关的语句。

爬的是www.pixiv.net，所谓的p站。这里有一个新问题是referer，p站需要referer才能访问图片，具体没看太懂，

用了一种新的方法下载图片。

 

req_header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; rv:28.0)     Gecko/20100101 Firefox/28.0',
'Referer':referer
}
req = urllib2.Request(PicUrl[0],None,req_header) 

f = urllib2.urlopen(req,None,5)
        
with open(path,'wb') as code:
    code.write(f.read()) 

 

所有的代码，等会用github了放git里吧，，，这次深感版本控制的必要性，以前改好的bug，改来改去又不行了。还找不到之前的代码。

 

目前的坑：

1）中文日文显示问题，数据库apache都设置成utf-8了，php中文还是显示问号，而且找不到cursors.py。

2）图片信息待丰富，作者和名字没有分开，得分没有抓取，如果想做的更好还要把作者写的简介抓下来。需要创建页面放置这些信息。

3）使用cookie登陆，目前是在未登录状态下抓图，无法获取原图。