摘要： 我们在利用python进行爬取数据的时候，一定会遇到这样的情况，在浏览器中打开能开到所有数据，但是利用requests去爬取源码得到的却是没有数据的页面框架。 出现这样情况，是因为别人网页使用了ajax异步加载，你的requests得到的只是页面框架而已。 遇到这样的情况有几种方法可以解决： 1、分 阅读全文

摘要： 1、查看自己chrome浏览器的版本。 浏览器地址栏输入以下地址 chrome://version 2、通过自己的版本下载相应的chromedriver.exe 下载地址：http://npm.taobao.org/mirrors/chromedriver/ 3、将下载下来的chromedriver 阅读全文

摘要： （我是在windows下进行实验的） 准备工作： 1、安装python环境。 2、python安装selenium插件（执行以下命令就行）。 pip install selenium 3、Windows下配置webdriver chrome。 如果以上准备工作都做好了。 那么我们就来编写python 阅读全文

摘要： 有时候用scrapy shell来调试很方便,但是有些网站有防爬虫机制,所以使用scrapy shell会返回403,比如下面 有两种解决方法: (1):第一种方法是在命令上加上-s USER_AGENT='Mozilla/5.0' 第一种方法最简单但是每次操作都要加上去很繁琐,第二种方法比较好。 阅读全文

摘要： flask的静态文件，一般放在static目录下，前端页面放在templates下（而且这两个名字是定死的（static，templates）），目录结构如图： 模板（index.html）里加载静态文件的路径也要改下，原模板路径如下： <img src="img/6.jpg" alt=""> 改为 阅读全文

摘要： 我们的日常工作中，一定会遇到需要加密的数据，比如：密码、私密信息... ... 我们不仅要对他们进行加密，更需要对他们进行解密，因为毕竟我们的用户应该不会看得懂加密过后的字符串吧！！！ 在python强大的第三方插件库中，就有这么一个插件，很好的解决了我们的问题，这个插件的名为：cryptograp 阅读全文

摘要： github链接：https://github.com/573734817pc/SendEmailPlug-in.git 说明： 1、该插件功能为发送邮件。 2、基于python编写。 3、使用的时候只需要配置好Emailconf文件即可。 配置demo如下： # 发件人 self.from_e = 阅读全文

摘要： 在我们的工作中，可能会遇到这样的情况：我们需要爬取的数据是通过ajax异步加载的，这样的话通过requests得到的只是一个静态页面，而我们需要的是ajax动态加载的数据！ 那我们应该怎么办呢？？？ 思路是这样的：F12，查看网络，筛选XHR，点击下拉菜单，等待异步加载的文件 ，得到异步加载url， 阅读全文

摘要： 我们工作中可能会遇到大数据量（假设上千万条）分页的情况，执行的语句类似以下sql语句： select * from record limit 2000000,10 运行这条语句，时间保持在30秒左右，这样的性能是很差的。 那我们该怎么去优化它呢？ 将sql改为下面这样： Select * From 阅读全文

摘要： mysql事物 事务是访问数据库的一个操作序列，数据库应用系统通过事务集来完成对数据库的存取。事务的正确执行使得数据库从一种状态转换为另一种状态。 事务必须服从ISO/IEC所制定的ACID原则。ACID是原子性（atomicity）、一致性（consistency）、隔离性（isolation）、 阅读全文