《团对-爬取豆瓣电影TOP250-开发环境搭建过程》

团队项目:爬取豆瓣电影TOP250(http://www.cnblogs.com/mrchige/p/6481194.html)(http://www.cnblogs.com/viviwong345/p/7040320.html)

 工具与环境:(第一种)

  1. 语言:python 2.7
  2. IDE: Pycharm
  3. 浏览器:Chrome
  4. 爬虫框架:Scrapy 1.2.1

  (第二种)

  • python python开发环境
  • jupyter python web IDE(注:可能会用到)
  • requests python requests模块用于向web页面发起访问请求(注:可能会用到)
  • BeautifulSoup Beautiful Soup是python的一个库,用于从html和xml文件中拉去数据(注:可能会用到)
  • openpyxl openpyxl 是python的一个库, 用于读写excel文件
  • infolite chrome插件安装 安装地址

过程:

    查看Python是否安装(命令窗口查看)

    查看模块库是否都完成安装

    启动python web IDE

    创建python文件

    简单爬去豆瓣脚本

    获取html标签

    安装infolite插件

注:具体用那种环境编写程序,暂时未定,需要进行团队商讨

 

posted @ 2017-09-11 21:44  Among  阅读(187)  评论(0编辑  收藏  举报