摘要：
————爬虫学习———— 01：2021.10.17 机器学习，sklearn库，无监督学习聚类，聚类算法 02：2021.10.22 实例：基于聚类的图像分割实例编写 03：2021.10.29 理论：无监督学习之降维，降维，主成分分析PCA，非负矩阵分解NMF 04：2021.11.07 理论： 阅读全文
摘要：
二维卷积 在图像处理中，图像是以二维矩阵的形式输入到神经网络中的，因此，需要二维卷积。 计算过程 互相关 计算卷积时需要卷积核翻转 卷积核操作的目标是特征提取 翻转是不必要的！！！ 互相关： 除非特别申明，卷积一般指互相关 二维卷积代码实现 实现效果：可以通过输入矩阵和卷积核，实现任意大小的二维卷积 阅读全文
摘要：
bs4解析 环境的安装： 在cmd中输入： pip install bs4 pip install lxml bs4的解析原理： 实例化一个BeautifulSoup的对象，并且将即将被解析的页面源码数据加载到该对象中。 调用BeautifulSoup对象中的相关属性和方法进行标签定位和数据提取/ 阅读全文
摘要：
回顾 1、爬虫 2、爬虫的分类： 通用爬虫 聚焦爬虫 增量式爬虫:监测 3、反爬机制 反反爬策略 4、robots，UA监测：UA伪装 5、http和https概念：服务器和客户端进行数据交互的某种形式。 6、常用的头信息: User-Agent：请求载体的身份标识 Connection：clo 阅读全文
摘要：
词云图制作 之前爬了网易云歌曲成都的评论，就想着做一个词云图，搞一下。 下载相关库 1、jieba库 jieba库是一个中文分词库。 在pycharm的setting中，找到project interpreter，加号，manager repositories，更改下下载路径。原路径下载太慢了，最后 阅读全文
摘要：
爬取网易云评论 我们用pycharm来完成这个代码，因为我不太熟悉，用Jupiter写的话经常报错，我受不了看到我编译了十几次还报错。 实现过程： 1、下载selenium包 这次的程序涉及到一个selenium包，这是一个Web自动化工具。 下载selenium包 如果用jupyter写的话，打开 阅读全文
摘要：
爬取药监总局企业详情信息 国家药监局化妆品许可证：http://scxk.nmpa.gov.cn:81/xk/ json格式化工具：https://www.bejson.com/ 思考：如何判定一张页面中是否存在动态加载的数据 抓包工具进行局部搜索 如果判定出页面中有动态加载的数据如何进行数据的定位 阅读全文
摘要：
requests模块 概念：基于网络请求的模块，作用是用来模拟浏览器发起请求。 编码流程： 指定url 基于requests模块发起请求 获取响应对象中的数据值 持久化存储 环境安装： pip install requests 实例学习： 基于requests模块的get请求 需求：爬取搜狗指定词条 阅读全文
摘要：
解决Jupyter Notebook无智能提示 看到视频里up主的Jupyter有智能提示，我的没有，所以特地去搞了一下 1、打开Anaconda Prompt 2.在弹出命令框依次输入以下4个命令 pip install jupyter_contrib_nbextensions jupyter c 阅读全文
摘要：
http 概念：clinet和Server进行数据交互的某种形式 常用的头信息： User-Agent：请求载体的身份标识 Connection:close 请求，连接中断，与服务器失去联系，与网站无关 content-type:响应 https 概念：安全的http协议（加密） 证书： 对称密钥加 阅读全文