lxinghua

摘要： GIL锁及多进程 GIL python有一个非常重要的GIL（global interpreter lock，全局解释器锁） python代码执行由python虚拟机（解释器主循环）来控制。对python虚拟机的访问由GIL控制，GIL保证同一时刻只有一个线程在执行。 多进程 由于Python设计的 阅读全文

摘要： csv存储 1. csv文件时大数据文件储存格式的文件结构与Excel不同； 2. CSV是一种通用、相对简单的文件格式，被用户。商业和科学广泛应用。最广泛的应用是在程序之间转移表格数据，而这些程序本身是在不兼容的格式上进行操作的（往往是私有的和/或无规范的格式）； 3. 因为大量程序都支持某种CS 阅读全文

摘要： jaonpath 数据提取 使用普通查找： print(data["store"]["book"][0]["author"] # 找到book下的第一个author 使用jsonpath查找： print(jsonpath.jsonpath(data, "$..author")) # 所有autho 阅读全文

摘要： requests_html模块 requests_html 模块介绍 1. requests_html是比较新的爬虫库，作者和requests是同一个作者； 2. 我们可以在安装的时候看到他安装了lxml、requests、bs4 ......等我们常用的解析和爬取的库都封装在他里面； 3. 用法和 阅读全文

摘要： 一、调试模式介绍 调试模式，即进入网页页面半代码模式，查看网页与代码一一对应关系。鼠标右键，再出现选项中找到检查进入调试模式，或者按键盘上的F12键进入调试模式。 功能介绍： elements：点击这个功能后出现的是当前页面的html文件，在你想实时修改的那个元素出双击，可以暂时修改，不过并没有同步 阅读全文