04 2022 档案

三维卷积神经网络预测MNIST数字详解
摘要：具体实现过程 导入 tensorflow、matplotlib、random 和 numpy。然后，导入 mnist 数据集并进行独热编码。请注意，TensorFlow 有一些内置的库来处理 MNIST，我们也会用到它们： 仔细观察一些数据有助于理解 MNIST 数据集。了解训练数据集中有多少张图片 阅读全文

posted @ 2022-04-30 08:00 青竹之下 阅读(165) 评论(0) 推荐(0)

卷积神经网络分类图片过程详解
摘要：在这一节中，你将学习如何对 CIFAR-10 中的图片进行分类。CIFAR-10 数据集由 10 类 60000 张 32×3 2像素的彩色图片组成，每类有 6000 张图片。有 50000 张训练图片和 10000 张测试图片。下面的图片取自https://www.cs.toronto.edu/~ 阅读全文

posted @ 2022-04-29 08:00 青竹之下 阅读(507) 评论(0) 推荐(0)

TensorFlow实现文本情感分析详解
摘要：文本和图像有什么共同之处？乍一看很少。但是，如果将句子或文档表示为矩阵，则该矩阵与其中每个单元是像素的图像矩阵没有什么区别。接下来的问题是，如何能够将文本表示为矩阵？好吧，这很简单：矩阵的每一行都是一个表示文本的向量。当然，现在需要定义一个基本单位。一个简单方法是将基本单位表示为字符。另一种做法是将 阅读全文

posted @ 2022-04-28 08:00 青竹之下 阅读(222) 评论(0) 推荐(0)

VGG卷积神经网络滤波器
摘要：第一步是选择 ImageNet 上的一个特定类别来训练 VGG16 网络。比如，将下图中的美国北斗鸟类别设定为 20： 图 1 北斗鸟示意图 ImageNet 类别在网站 https://gist.github.com/yrevar/6135f1bd8dcf2e0cc683 中可以找到，作为一个 P 阅读全文

posted @ 2022-04-27 08:00 青竹之下 阅读(229) 评论(0) 推荐(0)

线性回归算法详解
摘要：线性回归是什么 线性回归主要用来解决回归问题，也就是预测连续值的问题。而能满足这样要求的数学模型被称为“回归模型”。最简单的线性回归模型是我们所熟知的一次函数（即 y=kx+b），这种线性函数描述了两个变量之间的关系，其函数图像是一条连续的直线。如下图蓝色直线： 图1：线性连续函数 还有另外一种回归 阅读全文

posted @ 2022-04-26 08:00 青竹之下 阅读(484) 评论(0) 推荐(0)

梯度下降求极值
摘要：在《线性回归：损失函数和假设函数》一节，从数学的角度解释了假设函数和损失函数，我们最终的目的要得到一个最佳的“拟合”直线，因此就需要将损失函数的偏差值减到最小，我们把寻找极小值的过程称为“优化方法”，常用的优化方法有很多，比如共轭梯度法、梯度下降法、牛顿法和拟牛顿法。你可能对于上述方法感到陌生，甚至 阅读全文

posted @ 2022-04-25 08:00 青竹之下 阅读(164) 评论(0) 推荐(0)

Logistic回归算法
摘要：什么是分类问题？ 其实想要理解“分类”问题非常的简单，我们不妨拿最简单的“垃圾分类处理”的过程来认识一下这个词。现在考虑以下场景：小明拎着两个垃圾袋出门倒垃圾，等走到垃圾回收站的时候，小明发现摆放着两个垃圾桶，上面分别贴着“可回收”与“不可回收”。小明经过自己的判断后，把自己右手的垃圾放进了贴有“不 阅读全文

posted @ 2022-04-24 08:00 青竹之下 阅读(144) 评论(0) 推荐(0)

KNN最邻近分类算法
摘要：KNN算法原理 为了判断未知样本的类别，以所有已知类别的样本作为参照来计算未知样本与所有已知样本的距离，然后从中选取与未知样本距离最近的 K 个已知样本，并根据少数服从多数的投票法则（majority-voting），将未知样本与 K 个最邻近样本中所属类别占比较多的归为一类。这就是 KNN 算法基 阅读全文

posted @ 2022-04-23 08:00 青竹之下 阅读(137) 评论(0) 推荐(0)

贝叶斯公式
摘要：贝叶斯定理 贝叶斯定理的发明者 托马斯·贝叶斯 提出了一个很有意思的假设：“如果一个袋子中共有 10 个球，分别是黑球和白球，但是我们不知道它们之间的比例是怎么样的，现在，仅通过摸出的球的颜色，是否能判断出袋子里面黑白球的比例？”上述问题可能与我们高中时期所接受的的概率有所冲突，因为你所接触的概率问 阅读全文

posted @ 2022-04-22 08:00 青竹之下 阅读(518) 评论(0) 推荐(0)

决策树分类算法
摘要：if-else原理 想要认识“决策树算法”我们不妨从最简单的“if - else原理”出发来一探究竟。作为程序员，我相信你对 if -else 原理并不感到陌生，它是条件判断的常用语句。下面简单描述一下 if -else 的用法：if 后跟判断条件，如果判断为真，也即满足条件，就执行 if 下的代码 阅读全文

posted @ 2022-04-21 08:00 青竹之下 阅读(114) 评论(0) 推荐(0)

决策树算法应用
摘要：决策树算法应用 在 sklearn 库中与决策树相关的算法都存放在sklearn.tree模块里，该模块提供了 4 个决策树算法，下面对这些算法做简单的介绍： 1) .DecisionTreeClassifier() 这是一个经典的决策树分类算法，它提供了许多有用的参数，比如criterion，该参 阅读全文

posted @ 2022-04-20 08:00 青竹之下 阅读(305) 评论(0) 推荐(0)

YOLOv5
摘要：数据集标注选择了一个检测鱼类的数据集，想要尝试自己去制作一个数据集。网站链接：Labeled Fishes in the Wild 选择了60张鱼类的图片，准备标注数据： 由于自身强迫症，看着这些文件名太难受了，改成了VOC格式的000005.jpg命名方式，但是从000000.jpg开始，共60张 阅读全文

posted @ 2022-04-19 08:00 青竹之下 阅读(154) 评论(0) 推荐(0)

Yolov3网络结构图
摘要：网络结构图 绘制网络结构图受到Yolov3另一位作者文章的启发，包括下面Yolov4的结构图，确实，从总体框架上先了解了Yolov3的流程。再针对去学习每一小块的知识点，会事半功倍。 上图三个蓝色方框内表示Yolov3的三个基本组件： CBL：Yolov3网络结构中的最小组件，由Conv+Bn+Le 阅读全文

posted @ 2022-04-18 08:00 青竹之下 阅读(1489) 评论(0) 推荐(0)

yolo v3【深度解析】
摘要：这里推荐的模型结构可视化工具是：Netronnetron方便好用，可以直观看到yolo_v3的实际计算结构，精细到卷积层。But，要进一步在人性化的角度分析v3的结构图，还需要结合论文和代码。对此，我是下了不少功夫。上图表示了yolo_v3整个yolo_body的结构，没有包括把输出解析整理成咱要的 阅读全文

posted @ 2022-04-17 08:00 青竹之下 阅读(496) 评论(0) 推荐(0)

YoloV4核心基础内容
摘要：网络结构图 Yolov4的结构图和Yolov3相比，因为多了CSP结构，PAN结构，如果单纯看可视化流程图，会觉得很绕，不过在绘制出上面的图形后，会觉得豁然开朗，其实整体架构和Yolov3是相同的，不过使用各种新的算法思想对各个子结构都进行了改进。 先整理下Yolov4的五个基本组件： CBM：Yo 阅读全文

posted @ 2022-04-16 08:00 青竹之下 阅读(135) 评论(0) 推荐(0)

2022-04-15 08:00:02
摘要：2022-04-15 08:00:02 阅读全文

posted @ 2022-04-15 08:00 青竹之下 阅读(19) 评论(0) 推荐(0)

Yolov4输入端创新
摘要：考虑到很多同学GPU显卡数量并不是很多，Yolov4对训练时的输入端进行改进，使得训练在单张GPU上也能有不错的成绩。比如数据增强Mosaic、cmBN、SAT自对抗训练。 但感觉cmBN和SAT影响并不是很大，所以这里主要讲解Mosaic数据增强。 （1）Mosaic数据增强 Yolov4中使用的 阅读全文

posted @ 2022-04-14 08:00 青竹之下 阅读(109) 评论(0) 推荐(0)

自然语言处理入门01
摘要：自然语言处理（NLP）是计算机科学领域和人工智能领域中的一个分支，它与计算机和人类之间使用自然语言进行互动密切相关。NLP的最终目标是使计算机能够像人类一样理解语言。它是虚拟助手、语音识别、情感分析、自动文本摘要、机器翻译等的驱动力。在这篇文章中，你将学习到自然语言处理的基础知识，深入了解到它的一些 阅读全文

posted @ 2022-04-13 08:00 青竹之下 阅读(61) 评论(0) 推荐(0)

自然语言处理入门02
摘要：句法分析： 句法分析，也称为语法分析或解析，是通过遵循正式语法规则来分析自然语言的过程。语法规则适用于单词和词组，而不是单个单词。语法分析主要为文本分配语义结构。 语义分析： 我们理解他人的语言是一种无意识的过程，依赖于直觉和对语言本身的认识。因此，我们理解语言的方式很大程度上取决于意义和语境。计算 阅读全文

posted @ 2022-04-12 08:00 青竹之下 阅读(135) 评论(0) 推荐(0)

2022-04-11 08:00:02
摘要：命名实体识别： 命名实体识别（NER）用于确定文本中哪些词条属于命名实体，这些词条可以被定位并归入预定义的类别，类别的范围包括人名，组织，地点，还有货币价值和百分比。 看下面的例子： NER之前：Martin bought 300 shares of SAP in 2016. NER之后：[Mart 阅读全文

posted @ 2022-04-11 08:00 青竹之下 阅读(46) 评论(0) 推荐(0)

关键词提取
摘要：# *****************************关键词提取***************************** print('-' * 40) print('关键词提取') print('-' * 40) text = '举办纪念活动铭记二战历史，不忘战争带给人类的深重灾难，是为 阅读全文

posted @ 2022-04-10 08:00 青竹之下 阅读(38) 评论(0) 推荐(0)

急速词典分词
摘要：极速分词是词典最长分词，速度极其快，精度一般。 在i7-6700K上跑出了4500万字每秒的速度。 # *****************************急速词典分词***************************** print('-' * 40) print('急速词典分词') p 阅读全文

posted @ 2022-04-09 08:00 青竹之下 阅读(26) 评论(0) 推荐(0)

索引分词
摘要：索引分词IndexTokenizer是面向搜索引擎的分词器，能够对长词全切分，另外通过term.offset可以获取单词在文本中的偏移量。 任何分词器都可以通过基类Segment的enableIndexMode方法激活索引模式。 # *****************************索引分词 阅读全文

posted @ 2022-04-08 08:00 青竹之下 阅读(90) 评论(0) 推荐(0)

NLP分词
摘要：NLP分词 NLP分词NLPTokenizer会执行词性标注和命名实体识别，由结构化感知机序列标注框架支撑。 默认模型训练自9970万字的大型综合语料库，是已知范围内全世界最大的中文分词语料库。语料库规模决定实际效果，面向生产环境的语料库应当在千万字量级。欢迎用户在自己的语料上训练新模型以适应新领域 阅读全文

posted @ 2022-04-07 08:00 青竹之下 阅读(93) 评论(0) 推荐(0)

HanLP分词案例
摘要：text = '举办纪念活动铭记二战历史，不忘战争带给人类的深重灾难，是为了防止悲剧重演，确保和平永驻；记二战历史，' \ '更是为了提醒国际社会，需要共同捍卫二战胜利成果和国际公平正义，' \ '必须警惕和抵制在历史认知和维护战后国际秩序问题上的倒行逆施。' # ***************** 阅读全文

posted @ 2022-04-06 08:00 青竹之下 阅读(74) 评论(0) 推荐(0)

HanLP02
摘要：比较 第一种是使用作者给的HanLP直接获取分词器，直接segment() 会获取 默认的标准分词器也就是维特比分词器，也可以使用newSegment函数，传入上面的分词器英文名称来获取新的分词器，如使用HanLP.newSegment("crf")来获取CRF分词器。 第二种方式是使用JClass 阅读全文

posted @ 2022-04-05 08:00 青竹之下 阅读(53) 评论(0) 推荐(0)

hanlp分词
摘要：hanlp分词 介绍 HanLP是由一系列模型与算法组成的Java工具包，目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。 HanLP有如下功能： 中文分词 词性标注 命名实体识别 依存句法分析 关键词提取新词发现 短语提取 自动摘要 阅读全文

posted @ 2022-04-04 08:00 青竹之下 阅读(770) 评论(0) 推荐(0)

2022-04-03 08:00:02
摘要：1.1 BERT的输入 BERT的输入 BERT的输入为每一个token对应的表征（图中的粉红色块就是token，黄色块就是token对应的表征），并且单词字典是采用WordPiece算法来进行构建的。为了完成具体的分类任务，除了单词的token之外，作者还在输入的每一个序列开头都插入特定的分类to 阅读全文

posted @ 2022-04-03 08:00 青竹之下 阅读(84) 评论(0) 推荐(0)

BERT01
摘要：ERT的全称为Bidirectional Encoder Representation from Transformers，是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的masked language mode 阅读全文

posted @ 2022-04-02 08:00 青竹之下 阅读(94) 评论(0) 推荐(0)

依存句法分析
摘要：# *****************************依存句法分析***************************** print('-' * 40) print('依存句法分析') print('-' * 40) dependency = HanLP.parseDependency( 阅读全文

posted @ 2022-04-01 08:00 青竹之下 阅读(62) 评论(0) 推荐(0)