02 2022 档案

爬取Macy网用户评价日志（3）：根据url爬取产品信息（二）：爬取产品图片并分类保存
摘要：1. 方法叙述： 在获得产品url之后，向url发送请求。然后解析response之后，匹配html中的图片url，向图片url发送请求并下载保存。 1）所有img按照web id新建文件夹。每个页面有多个img 的url,因此需要考虑下载的具体是哪一张图片。 2）所有img的url，使用xpath 阅读全文
posted @ 2022-02-17 07:13 张幼安 阅读(50) 评论(0) 推荐(0) 编辑
爬取Macy网用户评价日志（1）：需求存储数据库设计
摘要：一、数据库设计如图： mysql> show tables; + + | Tables_in_macy | + + | rank1_cate_urls | | rank2_cate_urls | | rank3_cate_urls | | rank4_prod_specific_info | | r 阅读全文
posted @ 2022-02-17 02:31 张幼安 阅读(41) 评论(0) 推荐(0) 编辑
爬取Macy网用户评价日志（0）： 项目介绍和需求分析，任务设计
摘要：1. 背景叙述； 因为本项目的目的是：爬取所有产品的价格、图片、标题、评论信息。 1） 打开macy网页面：macy网，一共要经过四层url链接能够到达具体产品信息页面。如图所示。 图1. Macy首页面 图2. Women下分类页面 图3. WomenàTops下分类页面 图4. WomenàTo 阅读全文
posted @ 2022-02-17 02:06 张幼安 阅读(65) 评论(0) 推荐(0) 编辑
spacy无法导入“en_core_web_sm”
摘要：1. 显示No module found. 尝试：python -m spacy download en_core_web_sm。 显示connect certificate错了。 2. connect certificate 错了。 安装在conda上，使用conda install -c con 阅读全文
posted @ 2022-02-16 02:06 张幼安 阅读(1298) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示