摘要:
DockerHub开启付费功能后,自动构建的功能不再免费开放了,这样Github的项目就不能再免费自动构建docker镜像并自动发布到DockerHub上。 前言 这里记录下使用 GitHub Actions持续集成服务自动构建发布镜像到DockerHub,目前GitHub Actions是免费开放 阅读全文
摘要:
本文是Brightdata代理快速上手教程,Brightdata功能十分强大,但相对其他国内的代理服务商来说,对小白没有那么容易上手。这里做一个从零到上手的教程。大家也可以参数官方更详细的 [文档](http://www.luminati-cn.net/hi)。 ## 1、注册账号 首先需要注册Br 阅读全文
摘要:
如何使用Python快速高效地统计出大文件的总行数, 下面是一些实现方法和性能的比较。 1.readline读所有行 使用readlines方法读取所有行: def readline_count(file_name): return len(open(file_name).readlines()) 阅读全文
摘要:
1. 目的 简化SSH登陆过程, 实现从机器A登陆机器B只需要运行ssh hostname即可, 即不需要输入用户名和密码。 2. 配置host 配置host的作用是ssh登陆机器时用hostname代替IP, 在机器很多的集群环境中hostname比IP容易记的多, 编辑 /etc/hosts文件 阅读全文
摘要:
1. 依赖 的数据库交互通过 模块来实现, 使用前需要安装相关依赖: 2. 使用 使用 执行sql任务的一个简单例子: 3. 参数 接收几个参数: : 待执行的sql语句; : mysql数据库配置ID, Airflow的conn配置有两种配置方式,一是通过 来配置环境变量实现,二是通过web界面配 阅读全文
摘要:
1. 简介 "Docker" 是目前主流IT公司广泛接受和使用的,用于构建、管理和保护它们应用程序的工具。 容器,例如Docker允许开发人员在单个操作系统上隔离和运行多个应用程序,而不是为服务器上的每个应用程序专用一个虚拟机。使用容器更轻量级,可以降低成本、更好地使用资源和发挥更高的性能。 本文将 阅读全文
摘要:
简介 图片验证码识别的可以分为几个步骤,一般用 库或 来实现,这几个过程是: 1.灰度处理&二值化 2.降噪 3.字符分割 4.标准化 5.识别 所谓降噪就是把不需要的信息通通去除,比如背景,干扰线,干扰像素等等,只留下需要识别的字符,让图片变成2进制点阵,方便代入模型训练。 8邻域降噪 的前提是将 阅读全文
摘要:
Operator——标准功能性操作符接口. 代码中使用迭代器时,有时必须要为一个简单表达式创建函数。有些情况这些函数可以用一个 函数实现,但是对于某些操作,根本没必要去写一个新的函数。因此 模块定义了一些函数,这些函数对应于算术、比较和其他与标准对象API对应的操作。 1.逻辑操作符(Logical 阅读全文
摘要:
装饰器作用 "decorator" 是当今最流行的设计模式之一,很多使用它的人并不知道它是一种设计模式。这种模式有什么特别之处? 有兴趣可以看看 "Python Wiki" 上例子,使用它可以很方便地修改对象行为,通过使用类似例中的接口将修改动作封装在装饰对象中。 decorator 可以动态地修改 阅读全文
摘要:
itertools 用于更高效地创建迭代器的函数工具。 提供的功能受Clojure,Haskell,APL和SML等函数式编程语言的类似功能的启发。它们的目的是快速有效地使用内存,并且将它们关联在一起以表示更复杂的基于迭代的算法。 基于迭代器的代码比使用列表的代码提供了更好的内存消耗特性。因为直到数 阅读全文