01 2022 档案
摘要：报错总结： 1. stack overflow。 1) 描述： 在Tops下面的具体分类下，例如tops1, tops2, tops3等， 我使用了线程池的方法，开了10个线程去爬取每一个页面中的具体不同tops的url.其中因为会匹配next page.然后，应为next page使用了嵌套函数。
阅读全文
摘要：思路： 1）在这里，我在考虑review的爬取的时候，考虑了两种方法。 ①. 直接将review爬取并下载为.json文件。（最终选择方法） ②. 爬取review，然后将review中的字典进行匹配，并直接插入数据库里面。 具体执行过程： main函数：main函数分为三个部分。 1）mysql抽
阅读全文
摘要：1. 交并比：IoU: 1) 概念：如图有两个区域：A和B，IoU就是两个区域的相交面积 / （总面积-相交面积）； 即： IoU = A ∩ B / A υ B； 2）应用： 在目标检测中，我们首先会预测出一系列的候选框，然后使用NMS来去除一堆多余的框。这里的判断标准就是IoU大于某个阈值，一般
阅读全文
摘要：根据上一篇随笔：目标检测理论（1），我们已经明白了两个概念：IOU（交并比）和NMS（非极大值抑制）。 这里我们继续介绍两个概念： Precision(准确度): 模型预测的所有目标中，预测正确的比例。 Recall(召回率): 所有真实目标中，模型预测正确的目标比例。 在目标检测中，其具体计算方法
阅读全文
摘要：1. 需求阐述： 1' 假设： 1）假设所有产品的url都已经被爬取了，并保存到了本地mysql库中。 2' 需求： 1）爬取所有产品信息和评论； 2）信息：产品图片、价格、名称、url、WebID(经过分析，发现WebID是每一张产品的primary key) 评论：nickname, revie
阅读全文
