摘要: Go语言中提供的映射关系容器为map,其内部使用散列表(hash)实现。 map是一种无序的基于key-value的数据结构,Go语言中的map是引用类型,必须初始化才能使用。 map内的键值对是无序的 map定义 Go语言中 map的定义语法如下: map[KeyType]ValueType Ke 阅读全文
posted @ 2019-11-25 22:05 waller 阅读(134) 评论(0) 推荐(0) 编辑
摘要: 介绍 使用requests可以模拟浏览器的请求,比起python内置的urllib模块,requests模块的api更加便捷(本质就是封装了urllib3) 注意:requests库发送请求将网页内容下载下来以后,并不会执行js代码,这需要我们自己分析目标站点然后发起新的request请求 安装 > 阅读全文
posted @ 2019-11-25 16:45 waller 阅读(177) 评论(0) 推荐(0) 编辑
摘要: 什么是上网?爬虫要做的是什么? 我们所谓的上网便是由用户端计算机发送请求给目标计算机,将目标计算机的数据下载到本地的过程。 用户获取网络数据的方式是: 浏览器提交请求->下载网页代码->解析/渲染成页面。 而爬虫程序要做的就是: 模拟浏览器发送请求->下载网页代码->只提取有用的数据->存放于数据库 阅读全文
posted @ 2019-11-25 15:18 waller 阅读(276) 评论(0) 推荐(0) 编辑