摘要:
日期:2021.05.07 作者:杨传伟 完成任务:爬取imdb网站电影首页共计6000+条电影数据并存到数据库。 爬虫源码: 1 import re 2 import time 3 import traceback 4 5 from bs4 import BeautifulSoup 6 from 阅读全文
摘要:
今日任务:完成了根据电影分类进行多条件筛选功能 明天任务:完成网页分页功能 阅读全文
摘要:
日期:2021.05.06 作者:杨传伟 完成任务:学习爬取后台json数据,re正则匹配字符串,xpath解析,requests请求json数据。爬取爱奇艺电影片库5000+条电影数据(电影名字、播放链接、评分、播放权限)并存到数据库。 爬虫源码: 1 import time 2 import t 阅读全文
摘要:
今日任务:完成了页面“电影TOP榜”的模块部分。 阅读全文
摘要:
日期:2021.05.05 作者:杨传伟 完成任务:学习爬虫的xpath解析,使用xpath解析爱奇艺网站电影片库首页电影数据(电影名字、播放链接、评分、播放权限)并存到数据库。 爬虫源码: 1 url='https://list.iqiyi.com/www/1/ 11-1-1-iqiyi--.ht 阅读全文
摘要:
今日完成任务:前天设计页面时过于心急,导致整个页面模块布局还没有设计好就去设计每一块的具体内容,今天发现页面布局不合理无法继续进行,于是重新写了页面布局,具体效果如下: 通过吸取这次的教训,以后做项目时,一定要先构思好,然后再放手去做,绝对不能因为追求速度而忽略了质量。 阅读全文
摘要:
日期:2021..05.04 作者:杨传伟 完成任务:爬取腾讯视频电影片库首页所有电影信息(电影名字、播放链接、评分、播放权限)并存到数据库。 爬虫源码 1 import requests 2 import json 3 from bs4 import BeautifulSoup #网页解析获取数据 阅读全文
摘要:
个人任务:团队作业Web端页面设计 进度报告:今日对于页面的整体布局进行了设计,并完成了背景部分。 阅读全文
摘要:
日期:2021..05.04 作者:杨传伟 完成任务:爬虫、re、beautifulSoup解析网页初步。 5.3 李楠 今日完成豆瓣电影的爬取,主要有电影标题(title),主演(star),导演(director),类型(type_movie), 地区(area),日期(date_time),简 阅读全文
摘要:
第七章——为什么巴别塔会失败: 在这一章节开头,作者首先写道巴比伦塔是人类继诺亚方舟之后的第二大工程壮举,但巴比伦塔 同时也是第一个 彻底失败的工程。对于任何一个工程项目,如果想要取得成功,就必须具备以下条件:清晰的目标、人力、材料、足 够的时间和足够的技术。在巴别塔项目开发过程中,开发者有着清晰的 阅读全文