07 2021 档案
摘要：##bs4数据解析原理 实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中 通过调用BeautifulSoup对象中相关的属性方法进行标签定位和数据提取 ##如何实例化BeautifulSoup对象： from bs4 import BeautifulSoup 对象实例化：将
阅读全文
摘要：聚焦爬虫：爬取页面中指定的页面内容 数据解析分类： 正则 bs4 xpath 数据解析原理概述： 所解析的内容都会在标签之间或者标签对应的属性中进行存储 定位指定标签 将指定标签中的数据提取
阅读全文
摘要：##代码 import requests url='https://fanyi.baidu.com/sug' data={ 'kw':'people' } headers={ 'User-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleW
阅读全文
摘要：##简介 请求载体的身份表示 ##UA伪装 门户网站的服务器会检测对于请求的载体身份标识，如果检测到请求的载体身份标识为某一款游览器，说明该请求是一个正常的请求。但是如果检测到的载体身份标识不是基于某一款游览器的，则识别为爬虫。 ##操作 将游览器的User-agent复制到爬虫程序中 ##网页采集
阅读全文
摘要：常用模块：requests与urllib requests更简洁 ##requests模块 python原生基于网络请求模块，效率高，简单便捷 ##如何使用 指定url 发起请求 获取响应数据 持久化存储 ##爬取网页代码 import requests url='https://www.sogou
阅读全文
摘要：##HTTP协议 超文本传输协议（Hyper Text Transfer Protocol，HTTP）是一个简单的请求-响应协议，它通常运行在TCP之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。请求和响应消息的头以ASCII形式给出；而消息内容则具有一个类似MIME的格式。这
阅读全文
摘要：##什么是爬虫 通过编写程序，模拟游览器上网，然后去互联网上抓取数据的过程 ##爬虫在使用场景的分类 通用爬虫： 抓取的是一整张页面 聚焦爬虫： 是建立在通用爬虫的基础上，抓取的是页面中特定的内容 增量式爬虫： 检测网站中数据更新的情况，只会抓取网站中最新更新出来的数据。 ##反爬机制与反反爬策略
阅读全文
摘要：##模型背景 排队论发源于上世纪初。当时美国贝尔电话公司发明了自动电话,以适应日益繁忙的工商业电话通讯需要。 这个新发明带来了一个新问题,即通话线路与电话用户呼叫的数量关系应如何妥善解决，这个问题久久未能解决。 1909年,丹麦的哥本哈根电话公司A.K.埃尔浪(Erlang)在热力学统计平衡概念的启
阅读全文
摘要：##模型背景 当两个种群为争夺同一食物来源和生存空间相互竞争时,常见的结局是,竞争力弱的灭绝,竞争力强的达到环境容许的最大容量。 使用种群竞争模型可以描述两个种群相互竞争的过程,分析产生各种结局的条件。 ##模型假设
阅读全文
摘要：##算法思想 模仿自然界退火现象而得,利用了物理中固体物质的退火过程与一般优化问题的相似性从某一初始温度开始,伴随温度的不断下降,结合概率突跳特性在解空间中随机寻找全局最优解 ##具体应用 旅行商问题,即TSP问题(Travelling SalesmanProblem)又译为旅行推销员问题、货郎担问
阅读全文
摘要：##灰色预测模型简介 灰色预测模型(Gray Forecast Model)是通过少量的、不完全的信息,建立数学模型并做出预测的一种预测方法当我们应用运筹学的思想方法解决实际问题, 制定发展战略和政策、进行重大问题的决策时,都必须对未来进行科学的预测.预测是根据客观事物的过去和现在的发展规律,借助于
阅读全文
摘要：##多属性决策模型简介 多属性决策是现代决策科学的一个重要组成部分,它的理论和方法在工程设计、经济、管理和军事等诸多领域中有着广泛的应用,如:投资决策、项目评估、维修服务、武器系统性能评定、工厂选址、投标招标、产业部门发展排序和经济效益综合评价等。 多属性决策的实质是利用已有的决策信息通过一定的方式
阅读全文
摘要：##层次分析法简介 层次分析法，简称AHP，是指将与决策总是有关的元素分解成目标、准则、方案等层次，在此基础之上进行定性和定量分析的决策方法。该方法是美国运筹学家匹茨堡大学教授萨蒂于20世纪70年代初，在为美国国防部研究"根据各个工业部门对国家福利的贡献大小而进行电力分配"课题时，应用网络系统理论和
阅读全文
