04 2021 档案
摘要：核逻辑回归（Kernel Logistic Regression） SVM 和 Regularization 之间的联系 软间隔支持向量机的原最优化问题为： \[ \begin{aligned} \min _ { b , \mathbf { w } , \xi } & \frac { 1 } { 2
阅读全文
摘要：线性回归（Linear Regression) 理论实现 最简单的想法是 y≈d∑i=0wixi 线性回归的假设函数为: \(h(\mathrm{x}) = \mathrm{w}^{T} \mathrm
阅读全文
摘要：径向基函数网络（Radial Basis Function Network）：就是将基假设函数进行线性聚合。 径向基函数网络假设函数（RBF Network Hypothesis） 先回顾一下高斯支持向量机（Gaussian SVM）： \[ g _ { \mathrm { svm } } ( \m
阅读全文
摘要：在博文各个排序算法的实现与优化（含动画演示）已经将各种排序算法的实现进行了讲解，本文将重点针对其适用场景进行介绍，在介绍各排序算法的使用场景之前，先来温习一下跟时间复杂度有关的一些名词概念： 逆序对：设 A 为一个有 n 个数字的有序集 (n>1)，其中所有数字各不相同。如果存在正整数 i, j 使
阅读全文
摘要：TCP通信就跟谈对象一样就像这样： sequenceDiagram participant boy participant girl opt connect note over boy,girl:双方三次握手连接确定关系 boy->>girl:小姐姐谈对象吗🥰? girl->>boy:好啊,确定关
阅读全文
摘要：动机（Motivation） 感知机的线性融合（Linear Aggregation of Perceptrons） 中文中的感知器或感知机均指的是Perceptron 。 将 Perceptrons 作为 Linear Aggregation 的基模型，搭配方式的网络结构图图如下所示： 可以看出这
阅读全文
摘要：主成分分析PCA(Principal Component Analysis),作用是: 聚类 Clustering：把复杂的多维数据点,简化成少量数据点,易于分簇 降维：降低高维数据,简化计算,达到数据降维,压缩,降噪的目的 PCA 的目的就是找到一个低维映射空间，使得数据映射后方差最大。 理论实现
阅读全文
摘要：什么是机器学习（Machine Learing） 首先我们应该弄清楚什么是学习。 learning: acquiring skill with experience accumulated from observations machine learning: acquiring skill wit
阅读全文
摘要：非线性转换（Nonlinear Transformation） 前面讲了许多线性模型，但是假如数据并不是线性可分的，该如何处理呢？基本思路是将数据样本（特征）空间 \mathcal{X} 映射到 \mathcal{Z} 空间后，在 \mathcal{Z} 空间数据是线性可分的
阅读全文
摘要：多分类（Multi-Classification） One-Versus-All (OVA) Decomposition 以逻辑回归为例，其思路是将其中一类和剩下的类分开，做二分类，并对全部类做次操作，这样便有了K个逻辑回归分类器，只要取其中概率最大hypothesis所对应的分类作为分类结果即可。
阅读全文
摘要：三大学习原则（Three Learning Principles） 奥卡姆剃刀 ‘Occam’s razor’ 引用两个名言 An explanation of the data should be made as simple as possible, but no simpler. —Alber
阅读全文
摘要：机器学习中特征转换或利用是整个流程中的核心内容，这里介绍三个与之有关的三个主流技术： Embedding Numerous Features: how to exploit and regularize numerous features? \rightarrow inspires Supp
阅读全文
摘要：dataframe-cpp 在Python上使用dataframe做数据分析是非常便利的，但是c端就没有这么幸运了，暂时没有官方的api供我们使用，所以博主通过前段时间的编写的代码，修改了一个在c端使用的dataframe API。当然经验有限，尚未考虑时间消耗（效率问题），不过对于博主目前的软件使
阅读全文
摘要：auto关键字 template <class T1,class T2> auto add(T1x,T2 y)->decltype(x+y){ return x+y; } Lambda 表达式 只使用一次的函数对象，能否不要专门为其编写一个类？ 只调用一次的简单函数，能否在调用时才写出其函数体？ 形
阅读全文
摘要：标准模板库的算法 STL中的算法大致可以分为以下七类： 不变序列算法 变值算法 删除算法 变序算法 排序算法 有序区间算法 数值算法 特性 ： 算法就是一个个函数模板，大多数在<algorithm>中定义 STL中提供能在各种容器中通用的算法，比如查找，排序等 算法通过迭代器来操纵容器中的元素。许多
阅读全文
摘要：相信大部分人都会实现二叉搜索树，实际上就是根据与当前节点相比的大与小进行整个树的建立。这里部分代码引用的是刘雨波老师的二叉搜索树代码，为了方便关于二叉搜索树其他内容的讲解，代码基本上具有注释，如果哪里写的不明白可以留言，因为我自己也修改了一下，不知道是否存在bug。 具体的功能有： 搜索元素 删除元
阅读全文
摘要：面向过程设计 实际上就是模块化编程，简单来说就是程序 = 数据结构 + 函数，但是函数和变量是分开的也就是说property和behavior是分割的。 graph LR; A((结构化程序设计)) --> B((模块化编程)) 面向对象设计 graph LR; A[一类事物] -->|抽象| B[
阅读全文
摘要：文件操作 顺序文件 : 一个有限字符构成的顺序字符流 cpp标准库中:ifstream,ofstream和fstream共3个类用于文件操作一统称为文件流类，类继承树如下。 使用/创建文件的基本流程: graph LR; a(打开文件)-->b(读/写文件) b-->c(关闭文件) 打开文件 通过指
阅读全文
摘要：对于硕士研究生的我们做笔记，写文章是必备的技能，经过半年有余的研究生生活，我发现了几种比较好用的编辑工具，这里针对Markdown简单介绍一下，因为学习过程是学生的必经之路，我们应该学会站在巨人的肩膀上，所以学会做笔记是第一步啊！值得一提的是文章中用到了Latex公式语法，这也是一个比较好用的写论文
阅读全文
摘要：前段时间在看关于迁移学习的一些知识，看到SCL算法的时候有些不解，但是又没人讲解，这里分享一下作者当年的分享视频已上传至哔哩哔哩包括中文字幕版和英文字幕版。也上传至百度云， 提取码：aufv，可以自行保存。如果视频失效，可以留言。
阅读全文
摘要：Protocol是一种用于通讯时结构化数据的工具，类似于XML简单来说就是一种编码方式。 Protocol buffer CMake 编译 在下载protobuf-3.7.1-all之后解压，进入cmake文件夹 C:\Path\to\protobuf\cmake>mkdir build & cd
阅读全文
摘要：check bluetooth service power-on or not systemctl status bluetooth restart bluetooth service sudo /etc/init.d/bluetooth restart open the bluetooth too
阅读全文
摘要：本文的OCR当然不是自己从头开发的，是基于百度智能云提供的API（我感觉是百度在中国的人工智能领域值得称赞的一大贡献），其提供的API完全可以满足个人使用，相对来说简洁准确率高。 安装OCR Python SDK OCR Python SDK目录结构 ├── README.md ├── aip //
阅读全文
摘要：注意：这里主要是针对jupyter或ipython需要指定生效路径的操作较为繁琐，经常使用则可以采取这个方法 新建一个txt文件 写入以下批处理脚本 %windir%\System32\cmd.exe /k " cd .\ & C:\ProgramData\Anaconda3\Scripts\act
阅读全文
摘要：在host文件中添加 192.30.255.112 gist.github.com 151.101.44.249 global-ssl.fastly.net 使用命令ipconfig/flushdns 更新DNS 常用的Git命令 git init //把这个目录变成Git可以管理的仓库 git a
阅读全文
摘要：二叉查找树 二分搜索树是一种二叉树，但是不一定是完全二叉树，其具有父节点大于左子树，且小于右子树的特点。 实现 具体的代码实现见博文二叉搜索树C++实现（search, remove, insert, min, max, rank, select） 查找元素：查找时利用二分查找树的特性，如果小于该节
阅读全文
摘要：距离C++ 17已经过去两年了，但是大部分同学可能并没有用到其提供的遍历工具，由其是标准模板库STL的扩增和改善。下面博主将作为一个学习者，向大家介绍一下C++ 11以来增加的便利工具，希望提高大家的编码效率。 关键字 auto auto关键字实际上有很多小伙伴已经非常熟练的运用了，但是你真的了解他
阅读全文
摘要：并查集主要用于解决连接问题，其基本思想是为每一个数据都打上标签，当标签一致时则为一个集合。但是考虑到求并集的时候的效率问题，这里采用树形结构解决该问题，简单来说就是利用两个节点的根节点是否一致作为是否为一个集合的标志。 实现 查找：为防止该数据结构退化为链表，在每次查找过程中，选择进行路径压缩，使该
阅读全文
摘要：什么是哈希算法呢? 哈希算法的定义和原理非常简单,基本上一句话就可以概括了。将任意长度的二进制值串映射为固定长度的二进制值串,这个映射的规则就是哈希算法, 而通过原始数据映射之后得到的二进制值串就是哈希值，简单磊说就是唯一标识的数据映射。 百度百科中解释为 Hash，一般翻译做散列、杂凑，或音译为哈
阅读全文
摘要：InfluxDB 读写 Qt工程（C++ API） 写入数据 查询数据 支持的协议仅包括基于认证的HTTP/HTTPS协议 这个工程是基于awegrzyn/influxdb-cxx进行修改的, 包括其在查询数据和时间流读取上的bug，最终移植到了Qt工程内，需要的朋友可以点击链接下载https://
阅读全文
摘要：标准模板库 泛型程序设计(generic programming)的思想 : 模板机制，以及标准模板库STL 。 标准模板库 (STL,Standard Template Libaray) 一些常用数据结构和算法的模板的集合。将一些常用的数据结构（比如链表，数组，二叉树）和算法（比如排序，查找）写成
阅读全文
摘要：更详细的内容在博文各个常用的排序算法的适用场景详细分析（原地，稳定，最好、最坏、平均时间复杂度）和各个排序算法的实现与优化（含动画演示）中已经进行了详细了讲解，这里是为了方便快速拾起进行的一句话总结 冒泡排序：从前向后依次相邻的两个元素作比较，前比后大则交换，反之无操作 插入排序：从前向后遍历元素，
阅读全文
摘要：Python环境直接复制问题 在复制Python到其他电脑之后需要修改一下文件位置的设定，一般情况下载PythonXX的script文件夹下，比如pip，ipython就在这里 使用HEdit进行编辑exe文件，具体方式就是使用HEdit打开文件之后，选择原来的文件位置复制，之后ctrl+H进行替换
阅读全文
摘要：C++并发编程基础 在C++线程库中提供一个native_handle()成员函数，允许通过使用平台相关API直接操作底层实现。 为了并发地运行函数，需要使用特定的函数以及对象来管理各个线程。C++在头文件中提供了管理线程的类和函数 一个简单的Hello, Concurrent World程序： #
阅读全文
摘要：有一个简单的办法。假设原来的工程文件名是first，在工程文件目录中，你可以看到很多主文件名为first的文件，其中有两个文件分别叫做: first.uvopt和first.uvproj。 你只要把这两个文件的主文件名改成你需要的名字，例如second，变成second.uvopt和second.u
阅读全文
摘要：除了 *.pro 这个工程文件以及动手写的 *.cpp， *.h 和 *.ui 文件之外，删除所有 Qtcreator 自己生成的文件。 手动把 .pro 的名字改为下一部分作业的名字，打开.pro，里面有一行 "TARGET = " ，"" 修改为下一部分作业的名字。
阅读全文
摘要：并查集主要用于解决连接问题，其基本思想是为每一个数据都打上标签，当标签一致时则为一个集合。但是考虑到求并集的时候的效率问题，这里采用树形结构解决该问题，简单来说就是利用两个节点的根节点是否一致作为是否为一个集合的标志。 实现 查找：为防止该数据结构退化为链表，在每次查找过程中，选择进行路径压缩，使该
阅读全文
摘要：Py_Initialize,Py_Finalize 的调用次数最好为一次，经尝试重复调用将抛出异常 Python 指针对象应在最后使用 Py_DECREF 进行delete 外部库需要自己拷贝，同时使用 sys.path.append() 将其包含进系统路径。 具体代码实现见 : HeartCare
阅读全文
摘要：注意：库的machine类型一定要保持一致 x64 or x86 添加库文件 添加库文件路径
阅读全文
摘要：虚基类 一个类可以在一个类族中既被用作虚基类，也被用作非虚基类。 在派生类的对象中，同名的虚基类只产生一个虚基类子对象，而某个非虚基类产生各自的子对象。 虚基类子对象是由最派生类的构造函数通过调用虚基类的构造函数进行初始化的。 最派生类是指在继承结构中建立对象时所指定的类。 派生类的构造函数的成员初
阅读全文
摘要：window下，hosts文件位置：C:\windows\system32\drivers\etc\hosts 刷新方式： ipconfig /flushdns #清除DNS缓存内容。 ipconfig /displaydns #显示DNS缓存内容 linux下，文件位置：/etc/hosts 刷新
阅读全文
摘要：本文是针对 LPMS-B2 数据采集源码进行分析， LPMS-B2 是 LP公司出品的一款IMU，最近用到特别总结。 源码的数据采集程序，可见第38行其中使用了pollData和update进行数据采集。 void LpmsSensorManager::run(void) { MicroMeasur
阅读全文
摘要：背景 软件打包是程序成形发布的必经之路，但是常常会有软件依赖库缺失而导致的无法运行问题。 假设依赖关系如下： graph LR A[程序A] -- 依赖 --> B[动态链接库B] B[动态链接库B]-- 依赖 --> C[动态链接库C] C-- 依赖 --> D[...] 其根本原因是因为本程序A
阅读全文
摘要：之前的一篇文章自编数据标注（分割）软件 之 数组嵌套实现哈希函数的数据分片应用介绍了如何显示数据点的活动标签。但是并不特别符合当前的需求，并无法达到动态修改每段数据的标签值，因为其中的labelNum是由slice获取得的，并且是从头到尾遍历进行的赋值操作，算法复杂度较高为O(n)，即在每一次的分割
阅读全文
摘要：图与树和并查集相近，主要解决的是网络问题，比如人际网络。 实现方式 图有两种实现方法包括邻接矩阵和邻接表。邻接矩阵(Adjacency Matrix)适合存储稠密图(Dense Graph)，邻接表(Adjacency List)适合存储稀疏图 (Sparse Graph)，稠密图的代表是完全图，即
阅读全文
摘要：冒泡排序法 实现 对相邻的元素排序 若无数据交换，排序结束，如果存在执行步骤1 实际操作过程 代码 template<typename T = double> // 冒泡排序，arr 表示数组，n 表示数组大小 void bubbleSort(T arr[], int n) { if (n <= 1
阅读全文
摘要：该测试程序是将protocol变量转换为DataFrame类型为了便于使用numpy等数学工具 ImuEncode_pb2 是使用protocol生成的model， 具体使用方法可参考Protocol buffer 指南。 这是我使用的一些变量的声明 import time import ImuEn
阅读全文
摘要：错误日志： QSqlDatabase: QMYSQL driver not loaded QSqlDatabase: available drivers: QSqlDatabase: an instance of QCoreApplication is required for loading dr
阅读全文
摘要：函数指针 函数在内存中也是占用一段内存的所以我们也可以使用指针指向函数，之后只用指针调用函数，这一点在Python中有较好的体现，在个体类中直接调用适应度函数指针即可实现适应度的计算，因为Python中遵循一切皆指针的原则，所以直接以函数名传递即可实现。当然在cpp函数名也是函数指针类型的可以直接按
阅读全文
摘要：泛型程序设计(Generic Programming) 算法实现时不指定具体要操作的数据的类型 泛型 \Rightarrow 算法实现一遍 \Rightarrow 适用于多种数据结构 优势 : 减少重复代码的编写大量编写模板,使用模板的程序设计 函数模板 **实现方式 😗* tem
阅读全文
摘要：实际上树和图的广度&深度优先遍历方法十分类似，所以今天针对树的遍历方法实现进行详细分析，并且树的遍历在笔试中也是非常常见的一种方法，并且《剑指Offer》中的许多面试题用到了这两种遍历方法进行不同需求的算法实现。 深度优先遍历 深度优先遍历：借助递归算法不断遍历当前遍历到节点的左右子节点，对于树这个
阅读全文
摘要：本文是文本OCR的后续，因为用到了公式识别，所以阅读了 Mathpix API 文档，编写了一份比较适合自己使用的公式识别的Python程序，具体代码如下，注意使用之前应当去 Mathpix 官网 申请开发者ID和 KEY其对应的是代码中的APP_ID和APP_KEY后的XXX，在我的代码中加入了使
阅读全文
摘要：逻辑回归（Logistic Regression） 软性二分类（Soft Binary Classification） 逻辑回归实际上是一种软性二分类（Soft Binary Classification），与 硬性二分类（Hard Binary Classification）的区别是数据一致，但是
阅读全文
摘要：过拟合与欠拟合（under & over） 欠拟合（underfitting）: E_{\text }较高，E_{\text }也较高。 过拟合（overfitting）: E_{\text }较低，E_{\text }却较高。（例如数据中有噪声，却使用了高次多项式非线性转换，便会出
阅读全文
摘要：聚合模型实际上就是将许多模型聚合在一起，从而使其分类性能更佳。 aggregation models: mix or combine hypotheses (for better performance) 下面举个例子： 你有 T 朋友，他们对于股票涨停的预测表现为 \(g_1,\cdots
阅读全文
摘要：森林顾名思义就是有很多树，这里的树当然就是决策树。实际上随机森林就是将 fully-grown C&RT decision tree 作为 bagging 基模型（base model）。 \[ \text{random forest (RF) = bagging + fully-grown C\&
阅读全文
摘要：\[ \begin{array} { c | | c | c } \text { aggregation type } & \text { blending } & \text { learning } \\ \hline \hline \text { uniform } & \text { vot
阅读全文
摘要：Blending Models（融合模型） Blending：指的是当已有丰富多样的 g_t 时，进行聚合（Aggregate）。（aggregate after getting diverse g_t）。 常用的三种 Blending 模型如下： uniform : 是认为不同的
阅读全文
摘要：前面学习了基础神经网络算法，可以得知神经网络基本结构中：神经元（Node）的个数，层数（Layer），以及激活函数的类型和神经元之间的连接形式都是可以自己选择的，这就导致结构的多样性，那么如何选择呢？当然是视情况而定了。 浅层与深层（Shallow versus Deep Neural Networ
阅读全文
摘要：有序二维数组查找 这道题是在学习剑指offer这本书看到的，原题如下所示： 在一个二维数组中，每行都按照从左到右递增的顺序排序，每列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。 分块治之 在拿到题目的时候，我并没有找到右上角那么优秀的特征
阅读全文
摘要：前几天写过一篇博文InfluxDB 写入&查询 Qt工程（C++ 客户端 API），主要介绍了整理的Qt工程的使用方法，今天介绍一下其具体实现(C++)，这里主要借助于curl工具进行的数据库远程操作。 写入数据 写入数据的标准URL为[protocol]://[username:password@
阅读全文
摘要：线性神经网络（Linear Network Hypothesis） 这里用推荐系统的应用实例引出矩阵分解： 现在有一个电影评分预测问题，那么数据集的组成为： \[ \left\{ \left( \tilde { \mathbf { x } } _ { n } = ( n ) , y _ { n }
阅读全文
摘要：特征转换的技巧（Feature Exploitation Techniques） 核技巧（Kernel） 对于数值特征，使用一些映射函数 \Phi，将想要的特征转换嵌入进 kernel 运算里面，在 kernel 运算里面就包含了特征转换和在转换后空间上取内积。（numerous featu
阅读全文
摘要：最基本的项目是从源代码文件构建的可执行文件。对于简单的项目，只需要三行代码。 cmake_minimum_required(VERSION 3.10) # set the project name project(Tutorial) # add the executable add_executab
阅读全文
摘要：线性判别分析（Linear Discriminat Analysis） PCA找寻的投影向量力求找到使得特征点方差较大（也就是说散的比较开），与PCA所找寻的投影向量不同，LAD所找寻的投影向量具有下面两种特性： 映射后不同类数据之间的中心点（均值点）相距较远 映射后同类数据之间方差较小（分布比较集
阅读全文
摘要：XGBoost 学习总结 相对于随机森林使用 bagging 融合完全长成决策树，梯度提升决策树使用的 boosting 的改进版本 AdaBoost 技术的广义版本，也就是说是根据损失函数的梯度方向，所以叫做梯度提升（Gradient Boosting）。 XGBoost 实际上就是对全部的决策树
阅读全文
摘要：改变形状 通过 tf.reshape(x, new_shape)，可以对张量的视图进行任意的合法改变 x=tf.range(96) x=tf.reshape(x,[2,4,4,3]) 增删维度 增加维度：增加一个长度为 1 的维度相当于给原有的数据增加一个新维度的概念，维度长度为 1，故数据并不需要
阅读全文
摘要：梯度提升决策树从名字看是由三个部分组成，这里的提升（Boosted）指的是 AdaBoost 的运用，现在先看一下后两个部分提升决策树（Adaptive Boosted Decision Tree）。 提升决策树（Adaptive Boosted Decision Tree） 提升决策树顾名思义是将
阅读全文
摘要：随着大数据时代的到来，GBDT正面临着新的挑战，特别是在精度和效率之间的权衡方面。传统的GBDT实现需要对每个特征扫描所有数据实例，以估计所有可能的分割点的信息增益。因此，它们的计算复杂度将与特征数和实例数成正比。这使得这些实现在处理大数据时非常耗时。所以微软亚洲研究院提出了 LightGBM ，其
阅读全文
摘要：1、点开始——在运行里输入regedit，按回车键； 2、展开HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Explorer\FileExts，选择要恢复成未知应用程序的文件扩展名，鼠标右键选择删除； 展开HKEY_CURRE
阅读全文
摘要：这里以 fashion_mnist 数据集为例，先写出自编码器的基本实现代码如下： import os import tensorflow as tf import numpy as np from tensorflow import keras from tensorflow.keras impo
阅读全文
摘要：这里以 mnist 数据集为例，代码如下： import tensorflow as tf from tensorflow.keras import datasets, layers, optimizers, Sequential, metrics # 设置GPU使用方式 # 获取GPU列表 gpu
阅读全文
摘要：这里先列出 sklearn 官方给出的使用高斯核（RBF kernel) one class svm 实现二维数据的异常检测： #!/usr/bin/python # -*- coding:utf-8 -*- import numpy as np import matplotlib.pyplot a
阅读全文
摘要：假如现在有 \ell 个同一分布的观察数据，每条数据都有 p 个特征。如果现在加入一个或多个观察数据，那么是否这些数据与原有的数据十分不同，甚至我们可以怀疑其是否属于同一分布呢？反过来讲，是否这些数据与原有的数据十分相似，我们无法将其区分呢？这便是异常检测工具和方法需要解决的问题。即
阅读全文
摘要：这里使用了三个工具包分别为 PyMuPDF、reportlab 以及 PIL，所以这三个工具包需要提前安装，但是注意不要使用 pip install fitz 安装 fitz，因为这里使用的 fitz 是 PyMuPDF 里的，如果再安装 fitz， 会因为命名冲突导致调用失败。 首先是库的导入：
阅读全文
摘要：//数据库是按照数据结构来组织、存储和管理数据的仓库 create database database_name; // 创建数据库 drop database database_name; // 删除数据库 use database_name; // 选择数据库，之后的操作均只针对选择的数据库进行
阅读全文
摘要：已有大神为解决MATLAB文件未关联问题提出解决方法，步骤如下 1. 下载associateFiles2.12.zip文件后解压 2. 在MATLAB中运行 associateFiles.m 文件 3. 然后将会获得 MatlabFileAssocFix.reg 文件，以管理员运行该文件 4. 然后
阅读全文
摘要：C++ 标准库提供了生成随机和伪随机数的类。这些类包括：
随机数生成类：生成均匀分布整数序列的伪随机数生成器，包括随机数引擎、随机数引擎适配器以及预定义随机数生成器。
随机数分布类：将生成器生成的数字序列转换为遵循特定随机变量分布（如均匀分布、正态或泊松分布）的数字序列的对象。
阅读全文
摘要：本项目基于 libsvm-cpp 以及 dataframe-cpp 进行开发，主要用于异常检测，可直接读取CSV文件进行训练，存储和读取model以及scaler，并用于在线异常检测。同时该项目使 libsvm-cpp 支持直接读取CSV文件进行训练和测试。该项目已上传至码云和Github。
阅读全文
摘要：借助变体类型使用C++实现Python中的字典类型
阅读全文
摘要：基于C++语言通过网络爬虫的方式获取小米笔记本的驱动信息
阅读全文
