摘要：
数据解析分类： --正则 --bs4 --xpath 数据解析的原理： --解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储 --1.进行指定标签的定位 --2.标签或者标签对应的属性中存储的数据值进行提取（解析） 阅读全文
摘要：
import requests import json if __name__ == '__main__': #制定url url = 'https://movie.douban.com/j/chart/top_list' params = { 'type':'24', 'interval_id': 阅读全文
摘要：
--需求：破解百度翻译 --对应的请求是post请求 （携带了参数） --响应数据是一组json数据 代码 import requests import json if __name__ == '__main__': #制定url post_url = 'https://fanyi.baidu.co 阅读全文
摘要：
#UA检测：门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求载体的身份标识为某一款浏览器，说明是正常用户通过浏览器发起的正常的请求 # 如果检测到非浏览器发起的请求，则表示请求可能为不正常的请求（爬虫），那么有可能就会拒绝该请求 #UA：User-Agent：（请求身份载体的身份标识） 阅读全文
摘要：
笔记 requests模块 - urllib模块 - requests模块 request模块：python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。 作用：模拟浏览器发请求。 如何使用：(requests模块的编码流程) - 指定url - 发起请求 - 获取响应数据 - 阅读全文
摘要：
爬虫分类： 通用爬虫：抓取系统重要组成部分，抓取的是一个整张页面的数据 聚焦爬虫：是建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容 增量式爬虫：检测网站中数据更新的情况，指挥抓取网站中最新更新出来的数据 爬虫的矛与盾： 反爬机制 门户网站，可以通过制定相应的策略或者技术手段，防止爬虫程序进行 阅读全文
摘要：
今天学了会机器学习+深入学习 做了spark的实验 阅读全文
摘要：
object test3 { case class student(id: String, gender: String, score: Map[String, Int]) //读取文件的方法： def inputStudentList(filename: String): List[student 阅读全文
摘要：
case class Point(var x:Double,var y:Double) extends Drawable{ def shift(deltaX:Double,deltaY:Double): Unit = { x+=deltaX; y+=deltaY } } trait Drawable 阅读全文
摘要：
import scala.io.StdIn.readLine object test1 { def main(args: Array[String]): Unit = { val q = readLine("请输入一个大于0的数：").toDouble val result = calculateS 阅读全文