Rser_ljw

摘要： Distributed data parallel 1. Preface ​ 首先了解DP（data parallel），DP的本质是先将整个batch加载到主线程上，然后将batch分成小块传输到别的GPU进行工作。（其batchsize为总batchsize） ​ DP将模型参数默认放在GPU- 阅读全文

摘要： 深入研究不平衡回归问题 针对深度不平衡回归这一问题，提出了两种方法： 标签分布平滑 特征分布平滑 传统的解决方案 基于数据的解决方案 对少数样本过采样、对多数样本欠采样 基于模型的解决方案 对损失函数的重加权 一些学习技巧： transfer learning，meta-learning， two- 阅读全文

摘要： 数据预处理——特征工程 前言 特征工程是对原始数据进行一系列工程处理，将其提炼为特征，作为输入供算法和模型使用。数据预处理是其中的重要一环，通过对数据进行预处理，可以更好地提取出数据的特征，更容易训练。数据预处理的常用方法具体如下，可使用的工具有numpy/sklearn/torch...，这里主要 阅读全文

摘要： 序章 ​ Recurrent Neural NetWork (RNN) 用于处理序列数据，序列数据预测模型的特点是某一步的输出不仅依赖于这一步的输入，还依赖于其他步的输入或输出。传统的序列数据机器学习模型有Hidden Markov Model (隐马尔可夫模型)、Conditional Rando 阅读全文

摘要： 引言 ​ 前次介绍了FY-4A遥感影像的几何校正方法，然而其主体基于ENVI实现，虽然可以通过ENVI_DO_IT和IDL语言实现批量化处理，但由于ENVI中GLT的生成需要经纬度查找表没有无效值，需要裁剪，所以比较麻烦。 ​ 下面介绍一下基于gdal进行FY-4A几何校正的方法。仔细阅读李民录老师 阅读全文

摘要： FY-4A遥感影像（Disk/Regc区域）的几何校正 思路 选择区域经纬度范围，根据公式计算算出对应的行列号，并赋值 构建经纬度查找表，进行GLT几何校正 相较法1，法2速度快，且构建的GLT可以重复利用。故本节主要介绍构建经纬度查找表进行GLT几何校正的方法。 1. N_DISK全圆盘（4km） 阅读全文

摘要： ​ 在尝试过WIN10的WSL后，我还是决定折腾一个双系统，遇到了不少问题，记录过程如下。 1. 配置 MSI B360M 主板 512G SSD + 2T HDD RTX2060 I7 8700 记录一下MSI B360M进bios和boot的按键： Del 进入bios设置基本参数（UEFI/L 阅读全文

摘要： BP神经网络回归的三种python实现 前言 ​ BP神经网络（Back Propagation）是基于误差反向传播算法训练的多层前馈网络，能学习存储大量的输入-输出模式映射关系。它的优化方法是使用梯度下降法，通过反向传播来不断调整网络的权值和阈值，使网络误差平方和最小。其实际就是多层感知机，拓扑结 阅读全文

摘要： pyhdf读取方法汇总 简介 在pyhdf中，HDF4数据分为四部分，SD(Scientific Dataset)，VS(vdata)，V(Vgroup)以及HDF(common declarations)。pyhdf中数据有两种类型，datasets(SD)和vdata(VS)，即数据集和记录，所 阅读全文

摘要： 基于DeepLab v3的遥感图像语义分割教程 前言 ​ 前两个月做过一次基于Unet的遥感图像语义分割教程，效果较差。这次选用一个稍微新一点的模型，再跑一次相同的数据集，加上迁移学习的技巧，看看效果怎么样。 教程准备 开源的图像语义分割DeepLabv3代码（二分类） https://github 阅读全文