随笔分类 - python
摘要：处理数据样本的代码会因为处理过程繁杂而变得混乱且难以维护，在理想情况下，我们希望数据预处理过程代码与我们的模型训练代码分离，以获得更好的可读性和模块化，为此，PyTorch提供了torch.utils.data.DataLoader 和 torch.utils.data.Dataset两个类用于数据处理。其中torch.utils.data.DataLoader用于将数据集进行打包封装成一个可迭代对象，torch.utils.data.Dataset存储有一些常用的数据集示例以及相关标签。
阅读全文
摘要：计算机视觉任务中，对图像的变换（Image Transform）往往是必不可少的操作，例如在迁移学习中，需要对图像尺寸进行变换以使用预训练网络的输入层，又如对数据进行增强以丰富训练数据。
作为深度学习领域的主流框架，pytorch中提供了丰富的图像变换API。本文将对pytorch中torchvision.transforms提供的丰富多样的图像变换API进行整理介绍。
阅读全文
摘要：训练模型过程中，经常需要追踪一些性能指标的变化情况，以便了解模型的实时动态，例如：回归任务中的MSE、分类任务中的Accuracy、生成对抗网络中的图片、网络模型结构可视化…… 除了追踪外，我们还希望能够将这些指标以动态图表的形式可视化显示出来。
TensorFlow的附加工具Tensorboard就完美的提供了这些功能。不过现在经过Pytorch团队的努力，TensorBoard已经集成到了Pytorch中，只要安装有pytorch也可以直接使用TensorBoard。
Tensorboard同时提供了后端数据记录功能和前端数据可视化功能。通过后端数据记录功能，我们可以将需要追踪的性能指标写入到指定文件；通过前端数据可视化功能，我们可是实时查看当前训练情况。
在接下来的文章中，将对TensorBoard的使用方法进行介绍，如果你还没有安装，可以通过一下命令进行安装。注意，虽然torch集成有TensorBoard，但是并不完整，需要使用下面命令完整安装后，才能开启TensorBoard的WEB应用。
阅读全文
摘要：继续介绍seaborn绘制箱型图和小提琴图，探索数据分布。
阅读全文
摘要：在过去很长一段时间，我一直分不清直方图和条形图，或者说一直认为两者是一样的，直到看到histplot()和barplot()两个绘图方法，前者是绘制直方图，后者是绘制条形图。通过仔细对比两者各项功能后，我得出结论，两者十分相似，但有些许不同：直方图侧重于统计数据在数轴上各个位置的分布情况，统计的对象往往是连续型数值数据的，根据数值的大小分区间进行分组统计，例如有100个学生的身高，需要统计100个学生在各个身高段的分布情况；条形图不同，条形图分组往往是针对离散型数据或者说定性的分类数据，例如对比男生的平均身高和女生的平均身高。不知道我这么理解对不对，欢迎留言讨论。
阅读全文
摘要：接着上篇，继续介绍seaborn作图，本篇对seaborn绘制散点图（scatterplot）、线图（lineplot）展开说明。
阅读全文
摘要：在两年前，写了一些列关于matplotlib数据可视化的博客，matplotlib可定制化程度高、功能强大，但不得不说，作图过程也是十分繁琐，需要配置的参数众多。在探索数据时，我们更希望的是将工作中心集中在数据本身，通过简单的代码实现数据可视化，而不是可视化绘图本身。所以需要一个更高层次的库，对matplotlib进行分组，实现简单作图，这个库就是seaborn。
阅读全文
摘要：最近需要训练一个生成对抗网络模型，然后开发接口，不得不在一台有显卡的远程linux服务器上进行，所以，趁着这个机会研究了下怎么使用vscode来进行远程开发。
阅读全文
摘要：魔法函数是指类内部以双下划线开头，并且以双下划线结尾的函数，在特定时刻，Python会自动调用这些函数。魔法函数不是通过继承等机制获得的，而是类一旦定义，Python内部机制自动会给类赋予这些特殊的函数，且用户是不能创建魔法函数的，即使函数名以双下划线开头和双下划线结尾。通过魔法函数可以实现许多个性化、便捷的操作。
阅读全文
摘要：学过java语言的童鞋都知道，java是一门面向对象语言，其基本思想就是一切皆对象。Python也是一样的，甚至Python将面向对象思想贯彻地更加彻底，因为在Python中，class本身是一个对象，class实例化出来的实例也是对象，方法函数是一个对象，甚至代码模块都是一个对象，这是java不曾拥有的。
阅读全文
摘要：jupyter lab是科学计算的一个十分便捷工具，但其安装配置稍有些繁琐，本文针对jupyter lab安装配置全过程进行记录总结，可使读者少走很多弯路。
阅读全文
摘要：对于英文文本，句子中的词汇可以通过空格很容易得进行划分，但是在我们中文中则不然，没有明显的划分标志，所以需要通过专门的方法（算法）进行分词。在Python中，有多种库实现了各种方法支持中文分词，例如：jieba、hanlp、pkuseg等。在本篇中，先来说说jieba分词。
阅读全文
摘要：循环神经网络（Recurrent Neural Network，RNN）是一种别具一格的网络模型，其循环元节点不仅可以接上来自上层的输入数据，也可以接收自身上一次迭代的输出，基于这种特殊的结构，循环神经网络拥有了短期记忆能力，通过“记忆”保存了数据间的关联关系，所以尤为适合处理语言、文本、视频等时序相关的数据。
阅读全文
摘要：在前面的博客中已经介绍过如何使用Python来操作MySQL数据库，最近需要将一批数据从csv文件中迁移到Oracle数据库中，也打算用Python来实现，趁着这个机会，也写一篇博客学习总结一些如何使用Python来操作Oracle数据库。
阅读全文
摘要：介绍matplotlib图片展示和保存的方法
阅读全文
摘要：结合matplotlib代码实例总结介绍饼图和箱线图的绘制
阅读全文
摘要：本篇博客将介绍matplotlib中柱状图和直方图的作图方法。
阅读全文
摘要：对于折线图的绘制，在之前博客的示例中都有使用，在面向对象绘图方法中，一般是创建axes实例后调用plot()方法实现折线图绘制，并通过传递各种参数实现对图像的设置。 散点图的绘制通过axes实例的scatter()方法来实现。scatter()方法的参数和参数取值与绘制折线图的plot()方法基本一致，所以本文将两种图放在一起进行介绍。
阅读全文
摘要：本篇博客继续上一节的内容，展开介绍三大容器元素创建即通过三大容器可以完成的常用设置。
阅读全文
