摘要:
本文介绍了用tracemalloc来进行python程序的内存追踪的技术,以及简单的文件映射技术mmap的使用方法介绍和演示。通过这些案例,我们了解到,对于小规模的计算场景,可以将整个的需要计算的元素包含在内存中,这比较方便也比较快速。而对于大规模的文件场景,还是使用内存映射技术更加的快速,这个速度在本文中介绍的几个案例的运行中也能够体会到。内存映射技术已经有很多应用场景,比如前面介绍过的vaex就是得益于内存映射技术。 阅读全文
摘要:
基于python也可以开发安卓APP,这需要使用到kivy库来进行开发,再通过buildozer来编译构建。这两个库的安装和使用方式都相对比较简单,我们推荐直接在本地的系统环境下直接部署使用,最大的困难其实在于部署的过程以及配置文件的修改,这也都是比较基础的操作了。最后我们演示了使用文本框和按钮事件,加上python的eval()函数和math数学仓库,实现了一个可以在移动端调用math库中的函数执行数学计算的简单APP,并提供了apk下载网盘地址。 阅读全文
摘要:
本文中通过python库diagrams展示了基础的架构图绘制的方法,库中提供了常用的AWS和k8S等场景下常用的组件标签,使得我们用python代码也可以绘制精美清晰的架构图。这里组件之间的连接和耦合关系,也可以通过简单的符号进行实现,这也得益于python中所特有的魔法函数。 阅读全文
摘要:
本文介绍了使用opencv-python对输入图像进行处理的基本操作,包括图像读取、图像变换等。有了这些基础的操作支撑后,我们可以执行跟高层次的图像处理,比如常用于深度学习的卷积和池化操作,这里我们也作了简单介绍,并给出了使用示例。 阅读全文
摘要:
在前面几篇博客中我们介绍过docker等容器的编程环境解决方案,但是容器作为一个系统级的隔离方案,其实更加强调的是用户间的隔离,这一点也得益其对NameSpace技术的推广和使用。但是在一部分的场景下,比如快速构造一个纯净的python环境、轻量级的操作实现不同python包的共存,容器技术虽然也可以完成,但是功能显得过于冗余,这就需要使用到本文所介绍的virtualenv这样的一个python依赖管理解决方案。文中我们介绍了virtualenv的安装与基本的使用方法,做了一遍比较完整的演示。 阅读全文
摘要:
在这篇文章中我们介绍了julia编程语言的一些基本特点,这是一门兼顾了高性能与高效开发的编程语言,而且开源免费。不仅具备有python的便捷性,还有接近于C语言的高性能特性,是一门为科学计算而生的编程语言。我们介绍了其在Manjaro Linux平台下的安装方法,及其基本使用方法,如变量定义、函数定义和调用、包的管理以及与python编程语言的协同工作。 阅读全文
摘要:
告警和异常信息的定义与处理,在网络编程项目和各种实际计算的场景中都会被用到。这里我们通过两篇博客进行了比较简单的介绍,对于没有特殊要求的用户而言,按照示例中给出的样板直接修改就能够使用。更多的时候是规范的要求,我们可能需要修改异常和告警所继承的类型。同时对于异常和告警信息,我们也能够有方案去进行抑制,更加适配各种不同的场景需求。 阅读全文
摘要:
一个完善的python项目,不仅需要梳理好核心代码的软件架构,还需要定义好依赖文件、编译构建文件、API接口文档、编码规范门禁等。这里我们介绍了如何用setup.py文件来完善一个最简单的python项目,这也是每一个python开源项目所必须要具备的条件。 阅读全文
摘要:
通过pyinstaller我们可以将一个python项目打包编译构建成一个可执行文件,然后将该可执行文件放置到一个系统路径下,使得系统可以不需要路径也能够识别到这个可执行文件,这样我们就可以仅配置一些输入文件或者命令行的入参,来运行我们的项目。 阅读全文
摘要:
本文中介绍了常规python中的异常的定义方法,可以在自己的python项目中定制化的实现一些异常类。在定制化的类中我们可以给打印信息加上一些醒目的颜色,用于提醒用户以促进问题的修改。 阅读全文
摘要:
在本地构建基于Docker的编程环境是一个兼容性和可用性非常强的解决方案,这里我们介绍了一个使用Dockerfile来构建Docker容器镜像的简单实例。同时也用谷歌所主导的开源线性规划求解器ortools来测试这个容器化的编程环境解决方案,最终我们用ortools成功的求解了一个单背包问题,并且跟前面一篇博客中所介绍的IBM主导的cplex一样都得到了问题的最优解。 阅读全文
摘要:
在这篇文章中我们介绍了如何使用docker去搭建一个cplex线性规划求解器的编程环境,制作完docker容器,我们也展示了如何写一个线性规划问题定义的文件,并使用cplex对给定一个背包问题的线性规划(实际上是一个二元规划问题)文件进行求解。 阅读全文
摘要:
为了在本地构建一个可用性强、易于部署的环境,我们选择了放弃直接安装pdflatex的方案,以及线上的overleaf的方案。这些方案各有利弊,但是综合起来看,对于个人使用的环境而言,还是在本地使用docker镜像直接部署一个tex编译环境是最方便、最人性化的。 阅读全文
摘要:
在这篇文章中我们介绍了三种不同的python库对表格数据进行处理,分别是xlrd、pandas和vaex,其中特别着重的强调了一下vaex的优越性能以及在大数据中的应用价值。配合一些简单的示例,我们可以初步的了解到这些库各自的特点,在实际场景中可以斟酌使用。 阅读全文
摘要:
在本文中我们通过一个实例来介绍了Git的基本用法,包括提交代码、远程链接以及变基等,这使得我们可以更美观更简洁的去维护我们自己的开源代码仓库。 阅读全文