上一页 1 ··· 30 31 32 33 34 35 36 37 38 ··· 51 下一页
摘要: 一般来说,爬虫要爬取的对象是网页。那么,我们有必要了解一下网页的组成与结构。 题外话,大概大多数人对网页及结构还是很熟悉的。因为,不论我们学习什么开发,都会用到。 1. 什么是网页? 互联网上的基本元件就是网页。简单的来说,它是由若干代码编写的文件形式,其中包含许多的文字、图片、音乐、视频等丰富资源 阅读全文
posted @ 2021-09-16 13:04 陆陆无为而治者 阅读(305) 评论(0) 推荐(0) 编辑
摘要: paages.json 用于uni-app的全局配置,决定页面文件的路径、窗口样式、原生的导航栏、底部的原生tabbar 等。类似于微信小程序的app.json页面管理部分。由于各个小程序平台的限制和优化启动速度。所以,我们可能需要用到分包机制——例如,在微信小程序中生成的单个包大于2M时,是不能上 阅读全文
posted @ 2021-09-15 20:36 陆陆无为而治者 阅读(4040) 评论(0) 推荐(1) 编辑
摘要: 故事起源 最近一直在用uni-app开发微信小程序。良久没有真机调试和发布。一步小心,居然发现它错了。 message:Error: 系统错误,错误码:80051,source size 2169KB exceed max limit 2MB [20210915 14:30:39][wxe41256 阅读全文
posted @ 2021-09-15 19:41 陆陆无为而治者 阅读(5656) 评论(0) 推荐(1) 编辑
摘要: 在实际的爬虫项目开发过程中,对待抓取的URL列表的设计时很重要的一部分。很多时候,顺序很重要,比如:伦理道德上讲究长幼有序;对应URL,要先抓取哪一个页面呢?对于决定这些URL顺序的方法,成为抓取策略。 接下来介绍几种常见的抓取策略:深度优先遍历策略、宽度优先遍历策略、大站优先策略、最佳优先搜索策略 阅读全文
posted @ 2021-09-14 20:34 陆陆无为而治者 阅读(439) 评论(0) 推荐(0) 编辑
摘要: 基本结构 网络爬虫是搜索引擎抓取系统的重要组成部分。爬虫的主要目的是将互联网上的网页下载到本地形成一个互联网内容的镜像备份。通用的爬虫基本结构如下图所示。 工作流程 爬虫的基本工作流程如下: 选取一些种子URL 。例如某地区的新闻列表1~10页的URL。 将这些URL放入待抓取的URL列表中。 提取 阅读全文
posted @ 2021-09-14 20:05 陆陆无为而治者 阅读(711) 评论(0) 推荐(0) 编辑
摘要: 定义和用法 postition,用于规定元素的定位类型。 这个属性定义建立元素布局所用的定位机制。任何元素都可以定位,不过绝对或固定元素会生成一个块级框,而不论该元素本身是什么类型。相对定位元素会相对于它在正常流中的默认位置偏移。 默认值: static 继承性 no 版本: CSS2 JavaSc 阅读全文
posted @ 2021-09-12 19:30 陆陆无为而治者 阅读(333) 评论(0) 推荐(0) 编辑
摘要: 网络爬虫按照系统结构和实现技术,常见的主要有以下四类:通用网络爬虫、聚焦网络爬虫、增量式网络爬虫和深层网络爬虫。 实际的网络爬虫系统通常是由几种爬虫类型相交叉结合实现的。 1. 通用网络爬虫 通用网络爬虫 概念 爬取目标资源在全互联网中,爬取目标数量巨大。 性能要求 非常高。 应用场景 大型搜索引擎 阅读全文
posted @ 2021-09-12 15:54 陆陆无为而治者 阅读(504) 评论(0) 推荐(0) 编辑
摘要: 我们很幸运,处于互联网的时代,大量的信息在网络上都可以查到。当我们需要去浏览数据或文章时,通常采用的方式是复制和粘贴,当数据量大的时候,这自然是一件耗时耗力的事情。我们希望有一个自动化的程序,自动帮助我们匹配到网络上的数据,下载下来,为我们所用。这时候,网络爬虫就应用而生了。 网络爬虫(又称为网页蜘 阅读全文
posted @ 2021-09-12 11:36 陆陆无为而治者 阅读(642) 评论(0) 推荐(0) 编辑
摘要: 大概2016年到2017年的时候,随着人工智能和大4数据的xingqi,Python火起来了,似乎小学也将Python纳入课程。作为毫无目标的小白,自然会随波逐流,也毫无目标的学了一些Python,但是并没有学习网络爬虫。 如果问我爬虫是什么?我只能说,是获取网站信息的程序和脚本。套用百度百科的话。 阅读全文
posted @ 2021-09-12 10:30 陆陆无为而治者 阅读(59) 评论(0) 推荐(0) 编辑
摘要: 已知三角形的三遍,求面积,可以使用海伦公式。 因此,可以执行得到三角形面积公式的计算方法代码如下: /* * / <summary> * / 三角形面积公式 * / </summary> * / <param name="a">边长a</param> * / <param name="b">边长b< 阅读全文
posted @ 2021-09-11 13:42 陆陆无为而治者 阅读(963) 评论(0) 推荐(0) 编辑
上一页 1 ··· 30 31 32 33 34 35 36 37 38 ··· 51 下一页