摘要: 一、数据类型 1.byte: 0~255(整数类型) 2.short: 32768~32767 (整数类型) 3.int: 2147483648~2147483647 (整数类型) 4.long: -9*10^18~9*10^18 (整数类型) 5.float: -3.4*10^38~3.4*10^ 阅读全文
posted @ 2020-07-17 11:29 任磊5 阅读(120) 评论(0) 推荐(0) 编辑
摘要: 一、数据的隐式转换 1.int类型默认为int32 2.转换的方式: Convert.ToInt32(4.3)--输出4,遵循四舍五入 Convert.ToInt32(4.5)--输出4,当是两个数中间的那个数时就输出4和5之间为偶数的值 Convert.ToInt32(4.53)--输出5,遵循四 阅读全文
posted @ 2020-07-17 11:25 任磊5 阅读(246) 评论(0) 推荐(0) 编辑
摘要: 一、安装 在cmd中直接运行pip install beautifulsoup4进行安装 二、原理 BeautifulSoup4(html) 获取节点:find()、find_all()/select() 获取属性:attrs 获取文本:text 原理:beautifulsoup4将复杂的HTML文 阅读全文
posted @ 2020-04-03 16:45 任磊5 阅读(289) 评论(0) 推荐(0) 编辑
摘要: 一、使用request发送请求 安装:pip install requests(cmd命令行下执行) 二、requests的基本使用 import requests url = "http://www.baidu.com" res = requests.get(url) print(res.enco 阅读全文
posted @ 2020-03-28 16:06 任磊5 阅读(348) 评论(0) 推荐(0) 编辑
摘要: 一、爬虫概述 爬虫,就是给网站发起请求,并从响应中提取需要的数据的自动化程序。 1.发起请求,获取响应 通过http库,对目标站点进行请求。等同于自己打开浏览器,输入网址 通常库:urllib、urllib3、requests 服务器会返回请求的内容,一般为:html、二进制文件(视频,音频)、文档 阅读全文
posted @ 2020-03-28 15:37 任磊5 阅读(226) 评论(0) 推荐(0) 编辑
摘要: 一、notebook使用 Jupyter Notebook是一个基于网页的用于计算的应用程序,在数据科学领域很受欢迎。 简言之,notebook是以网页的形式打开,可以在code类型单元格中直接编写代码和运行代码,代码的运行结果也会直接在代码下显示。如果在编程过程中需要编写说明文档,可在markdo 阅读全文
posted @ 2020-03-28 14:07 任磊5 阅读(1088) 评论(0) 推荐(0) 编辑
摘要: 一、云端服务器 1.轻松低成本进行资源分割 云服务器的云计算架构决定其资源可弹性利用,允许轻松扩展,在可承受的成本消耗中高效管理资源及其分区。而使用传统的物理服务器,实现资源划分是一件繁琐和昂贵的事情。 2.支持移动端实时监控 云服务器和独立服务器都支持远程监控和管理。但云服务器可支持使用移动端管理 阅读全文
posted @ 2020-03-16 12:54 任磊5 阅读(958) 评论(0) 推荐(0) 编辑
摘要: 一、方法一:通过SQL语句 EXEC sp_addlinkedserver@server='DBMES', --链接服务器的名称@srvproduct='',@provider='SQLOLEDB',@datasrc='192.168.***.***' --要访问的的数据库所在的服务器的ipGOEX 阅读全文
posted @ 2020-03-16 12:28 任磊5 阅读(395) 评论(0) 推荐(0) 编辑
摘要: 一、调度器在爬虫中的位置以及作用 它是一个主循环,负责循环调取待爬取的url链接还有负责去重,去掉已经爬取的url链接,还有将未爬取的url链接给下载器进行数据的爬取。 二、调度器的主循环如图所示 三、在调度器中需要建立四个原件,分别是url管理器、html下载器、html解析器和数据存储器的实例 阅读全文
posted @ 2020-03-09 09:15 任磊5 阅读(827) 评论(0) 推荐(0) 编辑
摘要: 一、什么是网络爬虫 爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并数据抓取下来,然后使用一定的规则提取有价值的数据。 二、爬虫的种类 网络爬虫按照系统结构和实现技术,大致可以分为以下几种类型:通用网络爬虫(General Purpose Web Crawler)、聚焦网络爬虫(Focus 阅读全文
posted @ 2020-03-02 13:20 任磊5 阅读(236) 评论(0) 推荐(0) 编辑