随笔分类 -  Python

摘要:Python 的默认 IO 没有非阻塞 (Non-blocking) 的功能,默认情况下,以任何方式调用 read,都可能会被阻塞。 subprocess 中的 stdout/stderr 流 场景描述 假设我们现在需要通过 subprocess 调用一个子程序比如 aria2c, 然后需要实时分析 阅读全文
posted @ 2021-02-04 10:41 於清樂 阅读(1275) 评论(0) 推荐(0) 编辑
摘要:前言 我日常使用最多的语言是 Python,对一个 Pythonista 而言,处理 json 是一件很简单的事: In [1]: import json In [2]: data_json = '{"email": "xxx@example.com", "phone": "13800000001" 阅读全文
posted @ 2020-07-16 10:56 於清樂 阅读(434) 评论(0) 推荐(0) 编辑
摘要:在使用 Python 的 subprocess 包调用其他程序时,或者编写 Dockerfile 时,我们都会遇到一个小问题:使用 shell 模式,还是 Exec 参数化模式? 显然,使用 Shell 模式是最方便的——直接把命令当成一个字符串,一股脑儿传给 subprocess 或者 Docke 阅读全文
posted @ 2019-11-19 09:47 於清樂 阅读(1067) 评论(0) 推荐(0) 编辑
摘要:独立博客阅读:https://thiscute.world/posts/sqlalchemy-notes-3-relationship-and-foreignkey/ 个人笔记,不保证正确。 一、关系构建:ForeignKey 与 relationship 关系构建的重点,在于搞清楚这两个函数的用法 阅读全文
posted @ 2019-05-21 22:19 於清樂 阅读(6732) 评论(1) 推荐(4) 编辑
摘要:Python 提供了 threading 和 multiprocessing 用于编写多线程/多进程程序。 简单的并发编程 如果你不需要在多个进程/线程之间传递数据,那么 Python 的并发编程可以说是很简单。而且多进程与多线程编程的 API 基本一模一样。 上面的代码会启动五个并发线程,同时主线 阅读全文
posted @ 2019-03-15 23:35 於清樂 阅读(262) 评论(0) 推荐(0) 编辑
摘要:独立博客阅读:https://thiscute.world/posts/python-concurrency-pool-executor/ 个人笔记,如有疏漏,还请指正。 使用多线程(threading)和多进程(multiprocessing)完成常规的并发需求,在启动的时候 start、join 阅读全文
posted @ 2019-03-15 22:34 於清樂 阅读(4198) 评论(0) 推荐(0) 编辑
摘要:内容已迁移至:https://thiscute.world/posts/python-tips-and-tricks/ 阅读全文
posted @ 2019-03-10 00:59 於清樂 阅读(2817) 评论(0) 推荐(0) 编辑
摘要:前言 nonebot 是一个 QQ 消息机器人框架,它的一些实现机制,值得参考。 nonebot NoneBot 初始化(配置加载) 阅读 nonebot 文档,第一个示例如下: import nonebot if __name__ == '__main__': nonebot.init() non 阅读全文
posted @ 2019-03-02 11:13 於清樂 阅读(6195) 评论(2) 推荐(0) 编辑
摘要:独立博客阅读:https://thiscute.world/posts/python-asyncio/ 个人笔记,不保证正确。 虽然说看到很多人不看好 asyncio,但是这个东西还是必须学的。。 基于协程的异步,在很多语言中都有,学会了 Python 的,就一通百通。 一、生成器 generato 阅读全文
posted @ 2019-02-14 13:11 於清樂 阅读(766) 评论(0) 推荐(0) 编辑
摘要:独立博客阅读:https://thiscute.world/posts/sqlalchemy-notes-2-orm-basics/ 照例先看层次图 一、声明映射关系 使用 ORM 时,我们首先需要定义要操作的表(通过 Table),然后再定义该表对应的 Python class,并声明两者之间的映 阅读全文
posted @ 2019-02-11 19:52 於清樂 阅读(1140) 评论(0) 推荐(0) 编辑
摘要:概括 1. URL:需要操作的对象,也就是资源 2. HTTP method:我要对该对象做什么( POST 增、DELETE 删、GET 查、PUT 和 PATCH 改 ) 3. HTTP status code:操作的结果 做到这个,就达成了 REST 的第二层。 视图的定义方式 一般视图都使用 阅读全文
posted @ 2019-02-10 21:24 於清樂 阅读(1427) 评论(0) 推荐(0) 编辑
摘要:一、Web 服务器与 Web 框架 首先明确一下,要运行一个动态网页,我们需要 1. 一个 Web 服务器来监听并响应请求,如果请求的是静态文件它就直接将其返回,如果是动态 url 它就将请求转交给 Web 应用。 1. 一个 Web 应用来动态处理请求,生成响应 其中 Web 服务器通常都是别人已 阅读全文
posted @ 2019-02-07 20:24 於清樂 阅读(1340) 评论(0) 推荐(0) 编辑
摘要:独立博客阅读:https://thiscute.world/posts/sqlalchemy-notes-1-engine-and-sql-expression-language/ 个人笔记,如有错误烦请指正。 SQLAlchemy 是一个用 Python 实现的 ORM (Object Relat 阅读全文
posted @ 2019-01-21 14:02 於清樂 阅读(10593) 评论(2) 推荐(1) 编辑
摘要:对于稍微大一点的项目,就需要考虑项目结构的问题,过于扁平会导致结构混乱,而嵌套过于深入也会导致项目臃肿复杂。 Python python开源项目目录结构参考 描述的结构值得参考: $PROJ_NAME/ 按照你实际的项目名称创建目录。如果有多个子项目,就创建多个目录。它们都应该在 Pycharm 里 阅读全文
posted @ 2019-01-15 14:16 於清樂 阅读(205) 评论(0) 推荐(0) 编辑
摘要:完全可以参照这个教程: https://tecadmin.net/install python 3 8 ubuntu/ 但是要注意的是, 有很多的 flag 可以设置,其中一个重要的是 ,开启该 flag 后,安装时不仅会安装 静态链接库,还会同时安装 共享库。这个共享库有时候会用到!(比如 bui 阅读全文
posted @ 2018-09-15 22:47 於清樂 阅读(209) 评论(0) 推荐(0) 编辑
摘要:独立博客阅读:https://thiscute.world/posts/python-tips-and-tricks/ 个人笔记,不保证正确。 适合有一定基础的童鞋阅读 一、标准库 1. 文件路径 - pathlib 提供了 OS 无关的文件路径抽象,可以完全替代旧的 os.path 和 glob. 阅读全文
posted @ 2018-09-08 19:42 於清樂 阅读(1496) 评论(0) 推荐(1) 编辑
摘要:前言 这个。。怎么说呢。。从今年年初开始,自学了半年多 Java,之后暑假在一家公司干了两个月 Python 爬虫。 然后现在开学了。。。 学 Java 的时候,觉得以后可能就是做 Web 了,后来找到了爬虫的实习,想想也是 Web 相关的。 可是做了两个月爬虫,有点感觉这不是我想要的方向。确实,这 阅读全文
posted @ 2018-09-02 14:15 於清樂 阅读(603) 评论(0) 推荐(1) 编辑
摘要:个人笔记,写得乱。。不过自己看得懂就行了—_— 日常工作中能接触到的正则,分为两大派别,其中 Unix Like 系统中常用的正则,属于 POSIX “派”(较弱),而各编程语言标准库中的 Re,基本都是 PCRE “派”。(详见 "正则表达式“派别”简述" ) 可虽然说各编程语言基本都属于 PCR 阅读全文
posted @ 2018-07-14 21:36 於清樂 阅读(984) 评论(0) 推荐(0) 编辑
摘要:模块 爬虫主要包含三个部分:抓取、分析、存储。 抓取 1. requests http 请求库,一般来说抓取部分只需要它。 如果需要模拟登录,应该还会用到 hashlib 标准库(密码只传 hash) 2. tesseract 一个传统的 OCR 文字识别库。如果出现了不能绕过的验证码,可用它做验证 阅读全文
posted @ 2018-07-08 10:08 於清樂 阅读(821) 评论(0) 推荐(0) 编辑
摘要:Scrapy 中常用的数据提取方式有三种:Css 选择器、XPath、正则表达式。 Css 选择器 Web 中的 Css 选择器,本来是用于实现在特定 DOM 元素上应用花括号内的样式这样一个功能的。 在爬虫中,我们可以用它来选择提取出需要的内容。Css 有非常丰富的功能,因为我们只用它提取数据,我 阅读全文
posted @ 2018-07-06 11:29 於清樂 阅读(556) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示