随笔分类 - 2023数据采集与融合技术实践作业

2023数据采集与融合技术实践作业四

摘要：作业①: 要求：熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容。使用Selenium框架+ MySQL数据库存储技术路线爬取“沪深A股”、“上证A股”、“深证A股”3个板块的股票数据信息。候选网站：东方财富网：http://quote.eastmon 阅读全文

posted @ 2023-11-03 23:38 lu_lu_l 阅读(65) 评论(0) 推荐(0) 编辑

2023数据采集与融合技术实践作业三

摘要：作业①: 要求：指定一个网站，爬取这个网站中的所有的所有图片，例如：中国气象网（http://www.weather.com.cn）。使用scrapy框架分别实现单线程和多线程的方式爬取。务必控制总页数（学号尾数2位）、总下载的图片数量（尾数后3位）等限制爬取的措施。输出信息: 将下载的Url信息阅读全文

posted @ 2023-10-24 00:04 lu_lu_l 阅读(51) 评论(0) 推荐(0) 编辑

2023数据采集与融合技术实践作业二

摘要：作业①: Gitee文件夹链接：Gitee链接要求：在中国气象网（http://www.weather.com.cn）给定城市集的7日天气预报，并保存在数据库。输出信息: 序号地区日期天气信息温度 1 北京 8日（今天）小雨转晴 ... 代码：数据库操作 # 天气 import u 阅读全文

posted @ 2023-10-11 01:15 lu_lu_l 阅读(65) 评论(0) 推荐(0) 编辑

2023数据采集与融合技术实践作业一

摘要：作业① 1）实验实验要求要求：用requests和BeautifulSoup库方法定向爬取给定网址（http://www.shanghairanking.cn/rankings/bcur/2020 ）的数据，屏幕打印爬取的大学排名信息。输出信息：排名学校名称省市学校类型总分 1 清华阅读全文

posted @ 2023-09-21 23:53 lu_lu_l 阅读(54) 评论(0) 推荐(0) 编辑