摘要： ls命令是linux下最常用的命令。ls命令就是list的缩写缺省下ls用来打印出当前目录的清单如果ls指定其他目录那么就会显示指定目录里的文件及文件夹清单。 通过ls 命令不仅可以查看linux文件夹包含的文件而且可以查看文件权限(包括目录、文件夹、文件权限)查看目录信息等等。ls 命令 阅读全文

摘要： 装饰器本质上是一个Python函数，它可以让其他函数在不需要做任何代码变动的前提下增加额外功能，装饰器的返回值也是一个函数对象. 经常用于有切面需求的场景，比如：插入日志、性能测试、事务处理、缓存、权限校验等场景。装饰器是解决这类问题的绝佳设计，有了装饰器，我们就可以抽离出大量与函数功能本身无关的雷 阅读全文

摘要： 1 可以知道的是，文本文件的默认编码并不是utf8。 我们打开一个文本文件，并点击另存为 2 我们在新窗口的编码一栏看到默认编码是ANSI。先不管这个编码是什么编码，但是通过下拉列表我们知道，这种编码不是utf8。 END 编码测试 1 对于Python里面的中文显示，我们常常使用utf8和gbk的 阅读全文

摘要： #!/usr/bin/env python#coding:utf-8import reimport osimport globimport xlwtimport sysdir=r"F:\test_py\tt" ##目的文件夹if os.path.exists(dir): print ("The di 阅读全文

摘要： python读写txt文件转化成excel文件 python读取文件时提示"UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 205: illegal multibyte sequence" 解决办法1. FILE_ 阅读全文

摘要： HAVING 子句 在 SQL 中增加 HAVING 子句原因是，WHERE 关键字无法与合计函数一起使用。 SQL HAVING 语法 SQL HAVING 实例 我们拥有下面这个 "Orders" 表： O_IdOrderDateOrderPriceCustomer 1 2008/12/29 1 阅读全文

摘要： 开始 开篇：爬代理ip v2.0(未完待续），实现了获取代理ips，并把这些代理持久化（存在本地）。同时使用的是tornado的HTTPClient的库爬取内容。 中篇：开篇主要是获取代理ip；中篇打算使用代理ip，同时优化代码，并且异步爬取内容。所以接下来，就是写一个：异步，使用代理的爬虫。定义为 阅读全文

摘要： 本文主要包括以下内容 线程池实现并发爬虫 回调方法实现异步爬虫 协程技术的介绍 一个基于协程的异步编程模型 协程实现异步爬虫 线程池、回调、协程 我们希望通过并发执行来加快爬虫抓取页面的速度。一般的实现方式有三种： 线程池方式：开一个线程池，每当爬虫发现一个新链接，就将链接放入任务队列中，线程池中的 阅读全文

摘要： 作者：bsdr链接：https://zhuanlan.zhihu.com/p/20520370来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 0x01 常见的反爬虫 这几天在爬一个网站，网站做了很多反爬虫工作，爬起来有些艰难，花了一些时间才绕过反爬虫。在这里把我写爬虫 阅读全文

摘要： 本次爬取的贴吧是百度的美女吧，给广大男同胞们一些激励 在爬取之前需要在浏览器先登录百度贴吧的帐号，各位也可以在代码中使用post提交或者加入cookie 爬行地址：http://tieba.baidu.com/f?kw=%E7%BE%8E%E5%A5%B3&ie=utf-8&pn=0 #-*- co 阅读全文