blcblc - 博客园

2022年2月15日

摘要： OOV(Out of Vocabulary)问题 NLP相对是应用科学，并不是特别的数学。但是我们天天用的算法的基本数学逻辑我认为还是需要搞懂，比如dropout, 比如天天用到的优化(SGD, momentum, adaboost, adagrad)，比如各种 batch, layer norma 阅读全文

posted @ 2022-02-15 16:56 blcblc 阅读(50) 评论(0) 推荐(0)

Focal Loss的学习和理解

摘要： Focal Loss for Dense Object Detection 是ICCV2017的Best student paper,文章思路很简单但非常具有开拓性意义，效果也非常令人称赞。 GHM(gradient harmonizing mechanism) 发表于 “Gradient Harm 阅读全文

posted @ 2022-02-15 12:06 blcblc 阅读(411) 评论(0) 推荐(0)

2022年2月14日

学习率和训练过程的关系

摘要：这张图比较直观当学习率设置的过小时，收敛过程将变得十分缓慢。而当学习率设置的过大时，梯度可能会在最小值附近来回震荡，甚至可能无法收敛。下面来了解一些学习率调整的方法。 2.1 离散下降(discrete staircase) 对于深度学习来说，每 𝑡t 轮学习，学习率减半。对于监督学习来说，初阅读全文

posted @ 2022-02-14 22:30 blcblc 阅读(413) 评论(0) 推荐(0)

细粒度情感-读书摘要

摘要：这篇文章的一些笔记摘要《细粒度情感分析在到餐场景中的应用》 https://tech.meituan.com/2021/12/09/meituan-aspect-based-sentiment-analysis-daodian.html 大规模预训练模型(BERT)、提示学习(Prompt)等 N 阅读全文

posted @ 2022-02-14 12:02 blcblc 阅读(255) 评论(0) 推荐(0)

2022年2月13日

情感分析-读书笔记

摘要：针对这篇文章的读书摘要《情感分析技术在美团的探索与应用》 https://tech.meituan.com/2021/10/20/the-applications-of-sentiment-analysis-meituan.html 我们对其所有用户评论分析后发现好评主要集中在口味、服务、性价比阅读全文

posted @ 2022-02-13 22:00 blcblc 阅读(166) 评论(0) 推荐(0)

Normalization(标准化)的一些记录

摘要：第一种Normalization是对于将数据进行预处理时进行的操作，是对于数据集的各个特征分别进行处理，主要包括min-max normalization、Z-score normalization、 log函数转换和atan函数转换等。第二种Normalization对于每个样本缩放到单位范数（每阅读全文

posted @ 2022-02-13 21:54 blcblc 阅读(414) 评论(0) 推荐(0)

2022年2月12日

两篇关于情感方面的文章，还不错

摘要：先记录一下，然后再仔细看一下。《情感分析技术在美团的探索与应用》 https://tech.meituan.com/2021/10/20/the-applications-of-sentiment-analysis-meituan.html 《细粒度情感分析在到餐场景中的应用》 https://t 阅读全文

posted @ 2022-02-12 23:42 blcblc 阅读(123) 评论(0) 推荐(0)

2022年2月10日

几篇关于Transformer和Bert讲得不错的文章

摘要：这些关于Transformer和Bert的文章不错，做一下记录：《Transformer模型浅析》 https://zhuanlan.zhihu.com/p/74723305 文中引用了一篇国外的博客：https://jalammar.github.io/illustrated-transform 阅读全文

posted @ 2022-02-10 21:20 blcblc 阅读(92) 评论(0) 推荐(0)

NLP工作的五大分类

摘要：今天看了篇文章，把NLP归纳成五大类，我觉得还是有一定道理的。 https://blog.csdn.net/Datawhale/article/details/119090740 阅读全文

posted @ 2022-02-10 16:13 blcblc 阅读(119) 评论(0) 推荐(0)

机器学习常见数据集

摘要：有不少资料讲数据集的，太多了就有些信息过剩了，把我自己认为还不错的数据集做一下记录 NLP WikiText：http://metamind.io/research/the-wikitext-long-term-dependency-language-modeling-dataset/ WikiTe 阅读全文

posted @ 2022-02-10 15:52 blcblc 阅读(1482) 评论(0) 推荐(0)

笨鸟居士的博客

公告