随笔分类 - python教程
python自动化办公,python教学,python教程
摘要：
钢铁知识库，一个学习python爬虫、数据分析的知识库。人生苦短，快用python。 使用pycharm创建python文件时候，有时候需要自动生成想要的文件头，如何生成呢？ 只需要以下几步： 在file->settings中搜索temp，找到file and code templates->pyt
阅读全文
钢铁知识库，一个学习python爬虫、数据分析的知识库。人生苦短，快用python。 使用pycharm创建python文件时候，有时候需要自动生成想要的文件头，如何生成呢？ 只需要以下几步： 在file->settings中搜索temp，找到file and code templates->pyt
阅读全文
摘要：
钢铁知识库，一个学习python爬虫、数据分析的知识库。人生苦短，快用python。 之前我们使用requests库爬取某个站点的时候，每发出一个请求，程序必须等待网站返回响应才能接着运行，而在整个爬虫过程中，整个爬虫程序是一直在等待的，实际上没有做任何事情。 像这种占用磁盘/内存IO、网络IO的任
阅读全文
钢铁知识库，一个学习python爬虫、数据分析的知识库。人生苦短，快用python。 之前我们使用requests库爬取某个站点的时候，每发出一个请求，程序必须等待网站返回响应才能接着运行，而在整个爬虫过程中，整个爬虫程序是一直在等待的，实际上没有做任何事情。 像这种占用磁盘/内存IO、网络IO的任
阅读全文
摘要：
钢铁知识库，一个学习python爬虫、数据分析的知识库。人生苦短，快用python。 上一章我们讲解针对结构化的html、xml数据，使用Xpath实现网页内容爬取。本章我们再来聊另一个高效的神器：Beautiful Soup4。相比于传统正则表达方式去解析网页源代码，这个就简单得多，实践是检验真理
阅读全文
钢铁知识库，一个学习python爬虫、数据分析的知识库。人生苦短，快用python。 上一章我们讲解针对结构化的html、xml数据，使用Xpath实现网页内容爬取。本章我们再来聊另一个高效的神器：Beautiful Soup4。相比于传统正则表达方式去解析网页源代码，这个就简单得多，实践是检验真理
阅读全文
摘要：
Python爬虫之xpath语法及案例使用 钢铁侠的知识库 2022.08.15 我们在写Python爬虫时，经常需要对网页提取信息，如果用传统正则表达去写会增加很多工作量，此时需要一种对数据解析的方法，也就是本章要介绍的Xpath表达式。 Xpath是什么 XPath，全称 XML Path La
阅读全文
Python爬虫之xpath语法及案例使用 钢铁侠的知识库 2022.08.15 我们在写Python爬虫时，经常需要对网页提取信息，如果用传统正则表达去写会增加很多工作量，此时需要一种对数据解析的方法，也就是本章要介绍的Xpath表达式。 Xpath是什么 XPath，全称 XML Path La
阅读全文
摘要：pyinstaller可以将python写好的脚本打包成exe文件，方便windows用户在没有python环境下运行。这个程序完全跨平台，包括Windows、Linux、Mac OS X等多个操作系统下运行。因为我用的是win7，以下直接使用windows打包讲解，不同平台上使用 PyInstal
阅读全文
摘要：上一篇我们聊到python 字典和列表嵌套用法，这次我们聊聊字典和列表嵌套中的排序问题，这个在python基础中不会提到，但实际经常运用，面试中也喜欢问，我们娓娓道来。 在说组合排序之前，先来看看排序有哪些函数。 排序函数 使用排序有两个可用方法，分别是sort()和sorted()。 sort()
阅读全文
摘要：python中字典和列表的使用，在数据处理中应该是最常用的，这两个熟练后基本可以应付大部分场景了。不过网上的基础教程只告诉你列表、字典是什么，如何使用，很少做组合说明。 刚好工作中采集prometheus监控接口并做数据处理的时候，用了很多组合场景，列出几个做一些分享。 列表(List) 序列是Py
阅读全文
摘要：迭代器和生成器的区别是什么？这个问题面试的时候经常作为灵魂拷问。今天一起从概念到代码梳理一遍，作为总结和记录。 区别是： 生成器的好处是延迟计算，一次返回一个结果。也就是说，它不会一次生成所有的结果，这对于大数据量处理，将会非常有用。 基础概念 迭代：当创建的对象可以被一个接一个读取里面的值，叫迭代
阅读全文
摘要：python中使用pip安装扩展包的时候，有时候会遇到如下类似报错： Running setup.py install for mysqlclient ... error ...(中间报错信息省略) building 'MySQLdb._mysql' extension error: Microso
阅读全文
摘要：在django框架中，我们一般直接通过python manage.py runserver来启动提供服务，但是如果生产环境此方法不可行，而且容易导致异常退出，于是需要借助uwsgi来作为守护进程。 操作思路： 服务器中安装uwsgi插件 新建uwsgi.ini文件，写入uwsgi需要的参数 安装ng
阅读全文
摘要：json.loads()、json.dumps()和json.dump()、json.load()分别是两组不同用法 带s的用于数据类型的转换，不带s的用于操作文件。 json.loads()、json.dumps()概念理解 json本身是字符串，通过以下两个函数可以进行字典和字符串的转换。 因为
阅读全文
