10 2022 档案

摘要:本月学习了爬虫,爬虫就是使用Python中的各种模块,模拟浏览器,给服务器发送请求获取信息的过程。简单的学习了爬取图片的操作。Python的开源模块功能很强大,目前只学习了requests模块,只需要这个模块就可以简单爬取一些网页信息,还有panda模块,os,re等模块都可以帮助我们爬取数据,还有 阅读全文
posted @ 2022-10-29 19:20 iqqq 阅读(123) 评论(0) 推荐(0)
摘要:实例:爬取内蒙古科技大学校徽 打开网站 1.引入requests模块 2.输入要请求的网站url 网址获取 3.发送请求头 user-agent的获取 user-agent的作用是伪装成浏览器,发送请求 4.使用get请求得到返回值赋值给response常量,输出response文本形式 5.wit 阅读全文
posted @ 2022-10-28 01:06 iqqq 阅读(87) 评论(0) 推荐(1)
摘要:现有技术: Java,C语言,Python 职业规划: 大三准备考研,方向就是大数据和气象或者农业方面相关的研究方向; 初级数据分析师,之后逐步提升自己的经验 半个月的学习收获: 学习了hadoop的两大核心:分布式文件系统HDFS和分布式处理系统MapReduce的基础知识; 以及对分布式数据库H 阅读全文
posted @ 2022-10-14 20:54 iqqq 阅读(77) 评论(0) 推荐(0)