随笔分类 - Machine Learning
摘要:基于手写数字识别数据集的机器学习方法对比研究 摘要 研究意义:统计机器学习和深度学习都已被广泛地应用。 主流研究方法:在相同的数据集上进行对比实验。 前人研究存在的问题:在检索范围内,没有发现统计学习方法与深度学习方法对比的工作。 我们的解决手段:本文在手写数字识别数据集(MNIST)上,对比了主流
阅读全文
摘要:可解释机器学习技术 Mind Map Ref [1] 杜梦楠. 可解释机器学习技术. 中国计算机学会通讯. 2020-6 [2] Mengnan Du, Ninghao Liu, Xia Hu: Techniques for interpretable machine learning. Commu
阅读全文
摘要:Text Classification with Keras Data 采用清华文本分类数据集( http://thuctc.thunlp.org/message ),经过采样率为1%的采样后,得到小样本数据集。 Code # encoding=utf-8 import argparse impor
阅读全文
摘要:知识图谱(knowledge graph)实践 实体 定义
阅读全文
摘要:蒙特卡洛模拟 2020年5月13日,沈阳航空航天大学电子信息学院研究生入学考试复试口试题目 题目描述: A 是 0 到 0.2 之间的数,B 是 0 到 0.8 之间的数。求 B 比 A 大的概率是多少? 解析解 题目没有说明,但是可以分析可知,A 和 B 都应该属于均匀分布(uniform),也即
阅读全文
摘要:详细推导线性回归 关键词:线性回归; linear Regression. 绪论 根据李航的归纳,机器学习模型有三要素,分别是:模型、策略和算法。为了简单好记,本文认为,在线性回归问题中,模型、策略和算法可以做如下简记: 模型 = 模型 策略 = 损失函数 + 优化目标 算法 = 解析解/数值计算方
阅读全文
摘要:Breast Cancer on PyTorch Code 损失函数图像: nn.Sequential 模型性能:
阅读全文
摘要:Wikipedia Processing For Chinese, https://dumps.wikimedia.org/zhwiki/latest/ zhwiki latest pages articles.xml.bz2 For English, https://dumps.wikimedia
阅读全文
摘要:Point wise Mutual Information (Yao, et al 2019) reclaimed a clear description of Point wise Mutual Information as below: $$ PMI(i, j) = \log \frac{p(i
阅读全文
摘要:Iris Classification on Keras Installation Python3 版本为 3.6.4 : : Anaconda Code Errors Solution: 重新配置环境,重新安装 keras, Tensorflow 等。
阅读全文
摘要:WikiData Processing Data Accessing To download latest-all.json.bz2 on the page https://dumps.wikimedia.org/wikidatawiki/entities/ . wget is the best t
阅读全文
摘要:Retrofitting Analysis To figure out the process of retrofitting[1] objective updating, we do the following math. Forward Derivation $$ \psi(Q) = \sum_
阅读全文
摘要:Text Classification For purpose of word embedding extrinsic evaluation, especially downstream task. Some concepts are informed from 复旦大学NLP组 Statistic
阅读全文
摘要:Derivative of Softmax Loss Function A softmax classifier: pj=expoj∑kexpok It has been used in a loss function of the f
阅读全文
摘要:从头推导与实现 BP 网络 回归模型 目标 学习 y=2x 模型 单隐层、单节点的 BP 神经网络 策略 Mean Square Error 均方误差 MSE=12(ˆyy)2 模型的目标是 $\min \frac{1}{2} (\hat{y}
阅读全文
摘要:Getting Started with Word2Vec 1. Source by Google Project with Code: https://code.google.com/archive/p/word2vec/ Blog: "Learning Meaning Behind Words"
阅读全文
摘要:A Summary of Multi task Learning author by Yubo Feng. Intro In this paper[0], the introduction of multi task learning through the data hungry, the mos
阅读全文
摘要:PyTorch in Action: A Step by Step Tutorial Installation Guide Step 1, donwload the Miniconda and installing it on your computer. The reason why explai
阅读全文
摘要:Deep Learning for NLP The First Paper Proposed Bi LSTM+CRF 我认为,第一篇提出 Bi LSTM+CRF 架构的文章是: Huang Z, Xu W, Yu K, et al. Bidirectional LSTM CRF Models for
阅读全文
摘要:Deep Learning Terminologies batch full batch 已知在梯度下降中,需要对所有样本进行处理过后然后走一步(梯度更新),那么如果我们的样本规模的特别大的话效率就会比较低。假如有 5000 万个样本的话,走一轮迭代就会非常的耗时。这个时候的梯度下降叫做 full
阅读全文