摘要： 一、问题 本次利用selenium自动化测试，完成对淘宝的爬取，这样可以避免一些反爬的措施，也是一种爬虫常用的手段。本次实战的难点： 1.如何利用selenium绕过淘宝的登录界面 2.获取淘宝的页面内容实现翻页，并判断是否翻页成功。 3.获取每一页的信息，实现数据的抓取工作。 4.环境python 阅读全文

摘要： 一、问题： 利用python的matplotlib和requestss两个库对中奖号码进行可视化分析。经过分析可以知道中奖号码为红色和蓝色两种，数据是以json进行存储。 二、方法： 1.首先：matplotlibh和request库的安装,【pip install --upgrade matplo 阅读全文

摘要： 一、问题： 在做完第一个demo的时候，由于只是基础学习，所以对于name的使用并不需要很熟练，也不用理解的很深。但是在做音乐网站的时候遇到了关于如何使用name的内容。 由于一个app中会使用到另一个app的内容，所以在使用的时候没有找到search的映射。 二、解决： 对于无法找到映射的解决办法 阅读全文

摘要： 一、问题： 我在使用xpath获取文章内容的时候会遇到，多个相同的标签在同一级下面，但是我们只需要获取一部分的内容。比如我不想需要原标题这些内容。 二、解决： Xpath中有一个position()的函数，通过这个函数我可以获取到我想要的内容。 通过标签的位置我们就可以查询到我们所需要获取的内容。 阅读全文

摘要： 一、问题 我们有时候在使用selenium的时候，会遇到悬停后点击元素的操作，因此需要一个动作链来完成这个功能。 二、解决 从selenium的包中导入actionchains函数，利用xpath找到第一个元素，在利用move_to_element(【第一个元素的xpath】).perform() 阅读全文

摘要： 一、问题 我们在使用python的时候会遇到环境配置问题。如何可以一劳永逸，是我们解决问题的基本思想。 二、解决1.新建环境： 2.添加环境：选择需要的环境，可以是conda，亦可以是virtual。在将make available to all projects选择，这样就可以将环境变成全局环境。 阅读全文

摘要： 一、描述 在利用django做网络开发的时候我们会遇到一个问题就是，我们建立了多张数据表，但是多张数据表中的内容是不一样的，但是之间有着联系比如： 我有两张表，一张是记录歌曲信息的内容，一张是对歌曲操作的内容（下载次数浏览次数），如果我在views中对下载次数进行一个排序，但是我不 能只显示下载次数 阅读全文

摘要： 一、问题 在学习django的models时，使用Navicat premium导入.xls数据的时候会出现导入失败的原因，即使是换成了csv文件也是失败的，原因是数据库的表有外键，而需要设置外键限制。 由于外键的存在，无论如何修改格式都无法导入成功，这是在刚学django时遇到的问题。 二、解决办 阅读全文

摘要： 一、问题： 在进行爬虫的时候我们会用到xpath解析html文件，但是会有一种情况就是在xpath选择器中可以使用，但是在代码中就无法使用的情况。 二、原因： 1.是元素中有tbody的原因，这个元素是html生成时产生的，在使用xpath解析的时候无法解析，因此返回的列表为空值。 2.是因为没有写 阅读全文

摘要： 爬虫的实战例子： 1.百度图片： 百度图片是ajax的数据，其中gsm是十六进制的 2.梨视频： 梨视频的参数filter不需要直接请求其他的参数3.搜狐科技： 获取搜狐科技的内容4.QQmusic的爬取： 获取QQmusic歌单里面的所有歌曲5.淘宝实战： selenium抓取淘宝的图片 6.彩票 阅读全文