《团对-爬取豆瓣电影TOP250-开发环境搭建过程》
团队项目:爬取豆瓣电影TOP250(http://www.cnblogs.com/mrchige/p/6481194.html)(http://www.cnblogs.com/viviwong345/p/7040320.html)
工具与环境:(第一种)
- 语言:python 2.7
- IDE: Pycharm
- 浏览器:Chrome
- 爬虫框架:Scrapy 1.2.1
(第二种)
- python
python开发环境
- jupyter
python web IDE(注:可能会用到)
- requests
python requests模块用于向web页面发起访问请求(注:可能会用到)
- BeautifulSoup
Beautiful Soup是python的一个库,用于从html和xml文件中拉去数据(注:可能会用到)
- openpyxl
openpyxl 是python的一个库, 用于读写excel文件
- infolite
chrome插件安装
安装地址
过程:
查看Python是否安装(命令窗口查看)
查看模块库是否都完成安装
启动python web IDE
创建python文件
简单爬去豆瓣脚本
获取html标签
安装infolite插件
注:具体用那种环境编写程序,暂时未定,需要进行团队商讨