摘要： 一、问题环境安装 首先scrapy这个爬虫框架是基于twisted完成的因此，在安装scrapy之前需要安装twisted。否则直接安装scrapy就会直接出错：Failed building wheel for twisted。 二、解决首先下载twisted的.whl文件，也包括其他的包可以下载 阅读全文

摘要： 一、问题 在学习的过程中，我们会涉及到将文本信息，转化成语音的过程，比如：我爬取了一个小说的网站，我要将里面的内容进行语音处理。目前能够进行语音的方法还是很多，比如win32com，百度ai。 二、解决 1.这里介绍如何使用百度ai的方法，首先在http://ai.baidu.com/?track= 阅读全文

摘要： 一、问题： 在使用JB的IDE的时候（pycharm、IDEA等）可视化mysql和mongodb的数据库信息，效果如下 MySQL： MongoDB： 可视化数据表关系： 二、方法： 1.MySQL： （1）打开database的界面 通常情况下在右边的条框中有这个界面 如果没有则在view中 （ 阅读全文

摘要： 一、问题描述： 本次爬取的对象是QQmusic，为自己后面做django音乐网站的开发获取一些资源。 二、问题分析： 由于QQmusic和网易音乐的方式差不多，都是讲歌曲信息放入到播放界面播放，在其他界面没有media的资源，喜马拉雅的则不是这样的，可以参考我爬取喜马拉雅的blog与代码：https 阅读全文

摘要： 一、问题 本次利用selenium自动化测试，完成对淘宝的爬取，这样可以避免一些反爬的措施，也是一种爬虫常用的手段。本次实战的难点： 1.如何利用selenium绕过淘宝的登录界面 2.获取淘宝的页面内容实现翻页，并判断是否翻页成功。 3.获取每一页的信息，实现数据的抓取工作。 4.环境python 阅读全文

摘要： 一、问题： 利用python的matplotlib和requestss两个库对中奖号码进行可视化分析。经过分析可以知道中奖号码为红色和蓝色两种，数据是以json进行存储。 二、方法： 1.首先：matplotlibh和request库的安装,【pip install --upgrade matplo 阅读全文

摘要： 一、问题： 在做完第一个demo的时候，由于只是基础学习，所以对于name的使用并不需要很熟练，也不用理解的很深。但是在做音乐网站的时候遇到了关于如何使用name的内容。 由于一个app中会使用到另一个app的内容，所以在使用的时候没有找到search的映射。 二、解决： 对于无法找到映射的解决办法 阅读全文

摘要： 一、问题： 我在使用xpath获取文章内容的时候会遇到，多个相同的标签在同一级下面，但是我们只需要获取一部分的内容。比如我不想需要原标题这些内容。 二、解决： Xpath中有一个position()的函数，通过这个函数我可以获取到我想要的内容。 通过标签的位置我们就可以查询到我们所需要获取的内容。 阅读全文

摘要： 一、问题 我们有时候在使用selenium的时候，会遇到悬停后点击元素的操作，因此需要一个动作链来完成这个功能。 二、解决 从selenium的包中导入actionchains函数，利用xpath找到第一个元素，在利用move_to_element(【第一个元素的xpath】).perform() 阅读全文

摘要： 一、问题 我们在使用python的时候会遇到环境配置问题。如何可以一劳永逸，是我们解决问题的基本思想。 二、解决1.新建环境： 2.添加环境：选择需要的环境，可以是conda，亦可以是virtual。在将make available to all projects选择，这样就可以将环境变成全局环境。 阅读全文