随笔分类 -  keras

摘要:本文通过让LSTM学习字母表,来预测下一个字母,详细的请参考: https://blog.csdn.net/zwqjoy/article/details/80493341 https://machinelearningmastery.com/understanding-stateful-lstm-r 阅读全文
posted @ 2020-08-01 15:50 光彩照人 阅读(1409) 评论(0) 推荐(0) 编辑
摘要:一、Sateful参数介绍 在Keras调用LSTM的参数中,有一个stateful参数,默认是False,也就是无状态模式stateless,为True的话就是有状态模式stateful,所以这里我们就归为两种模式: 有状态模型(stateful LSTM) 无状态模型(stateless LST 阅读全文
posted @ 2020-07-28 21:07 光彩照人 阅读(2359) 评论(0) 推荐(0) 编辑
摘要:一、LSTM原理介绍 RNN虽然理论上也能循环处理长序列,但是由于其结构简单,单元里面只是一个基于tanh激活函数的前馈网络在循环,对于长序列中的哪些信息需要记忆、哪些序列需要忘记,RNN是无法处理的。序列越长,较早的信息就应该忘记,由新的信息来代替,因为上下文语境意境发生了变化,既然RNN无法处理 阅读全文
posted @ 2020-07-28 21:06 光彩照人 阅读(1857) 评论(0) 推荐(0) 编辑
摘要:概述: keras在进行模型训练的时候,如何能够动态可视化的显示训练集和验证集上的精度和损失?有个项目名叫hualos实现了这一功能,作者为François Chollet和Eder Santana,前面的作者就是Keras的创造者,同时也是书籍《Deep Learning with Python》 阅读全文
posted @ 2020-03-31 14:24 光彩照人 阅读(1053) 评论(0) 推荐(0) 编辑
摘要:一、任务背景介绍 本次训练实战参照的是该篇博客文章:https://kexue.fm/archives/6933 本次训练任务采用的是THUCNews的数据集,THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成,包含74万篇新闻文档,由多个类别的新闻标题和内容组 阅读全文
posted @ 2020-03-09 15:04 光彩照人 编辑
摘要:一、to_categorical from keras.utils import to_categorical #类别向量定义 b = [0,1,2,3,2,1] #调用to_categorical将b按照4个类别来进行转换,也就是b中数字只能来自【0,1,2,3】,因为是从0开始编码的。 b = 阅读全文
posted @ 2020-03-07 22:30 光彩照人 编辑
摘要:一、基本定义方法 当然,Lambda层仅仅适用于不需要增加训练参数的情形,如果想要实现的功能需要往模型新增参数,那么就必须要用到自定义Layer了。其实这也不复杂,相比于Lambda层只不过代码多了几行,官方文章已经写得很清楚了:https://keras.io/layers/writing-you 阅读全文
posted @ 2020-03-06 08:41 光彩照人 编辑
摘要:一、Lambda层的使用 keras.layers.Lambda(function, output_shape=None, mask=None, arguments=None) 作用:将任意表达式封装为 Layer 对象 from keras.layers import Input, Dense,L 阅读全文
posted @ 2020-03-05 17:26 光彩照人 编辑
摘要:参考链接: https://blog.csdn.net/sinat_29217765/article/details/94024519 https://blog.csdn.net/zhanshen112/article/details/96207454 两个求亲测有效。 阅读全文
posted @ 2020-03-05 11:38 光彩照人 编辑
摘要:一、多输入和多输出模型 考虑这样一个模型。我们希望预测Twitter上一条新闻会被转发和点赞多少次。模型的主要输入是新闻本身,也就是一个词语的序列。但我们还可以拥有额外的输入,如新闻发布的日期等。这个模型的损失函数将由两部分组成,辅助的损失函数评估仅仅基于新闻本身做出预测的情况,主损失函数评估基于新 阅读全文
posted @ 2020-03-05 09:23 光彩照人 阅读(629) 评论(0) 推荐(0) 编辑
摘要:一、Bert Model流程图 二、Bert所用Transformer内部结构图 三、Masked LM预训练示意图 四、Next Sentence Prediction预训练示意图 可视化一步步讲用bert进行情感分析:https://blog.csdn.net/jclian91/article/ 阅读全文
posted @ 2020-03-02 18:02 光彩照人 阅读(2830) 评论(0) 推荐(0) 编辑
摘要:一、Masked LM get_masked_lm_output函数用于计算「任务#1」的训练 loss。输入为 BertModel 的最后一层 sequence_output 输出([batch_size, seq_length, hidden_size]),先找出输出结果中masked掉的词,然 阅读全文
posted @ 2020-03-02 17:48 光彩照人 阅读(2965) 评论(0) 推荐(0) 编辑
摘要:一、注意力层(attention layer) 重要:本层主要就是根据论文公式计算token之间的attention_scores(QKT),并且做softmax之后变成attention_probs,最后再与V相乘。值得注意的是,中间利用了attention_mask的技巧,返回多头注意力值。 d 阅读全文
posted @ 2020-03-01 11:41 光彩照人 阅读(2514) 评论(0) 推荐(1) 编辑
摘要:一、BertModel主入口 class BertModel(object): """BERT model ("Bidirectional Encoder Representations from Transformers"). Example usage: ```python # Already 阅读全文
posted @ 2020-02-29 12:13 光彩照人 阅读(4571) 评论(1) 推荐(2) 编辑
摘要:一、train_on_batch model.train_on_batch(batchX, batchY) train_on_batch函数接受单批数据,执行反向传播,然后更新模型参数,该批数据的大小可以是任意的,即,它不需要提供明确的批量大小,属于精细化控制训练模型,大部分情况下我们不需要这么精细 阅读全文
posted @ 2020-02-28 22:49 光彩照人 阅读(5689) 评论(0) 推荐(0) 编辑
摘要:import numpy as np a = np.array([1,2,3,4,5,6,7,8]) #一维数组 print(a.shape) #值为8,因为有8个数据 b = np.array([[1,2,3,4],[5,6,7,8]]) #二维数组 print(b.shape) #值为2,最外层 阅读全文
posted @ 2020-02-28 10:04 光彩照人 阅读(207) 评论(0) 推荐(0) 编辑
摘要:原文链接:https://blog.csdn.net/a632189007/article/details/77978058 keras在使用GPU的时候有个特点,就是默认全部占满显存。 这样如果有多个模型都需要使用GPU跑的话,那么限制是很大的,而且对于GPU也是一种浪费。因此在使用keras时需 阅读全文
posted @ 2020-02-27 22:04 光彩照人 阅读(999) 评论(0) 推荐(0) 编辑
摘要:一、keras介绍 Keras (κέρας) 在希腊语中意为 号角 。它来自古希腊和拉丁文学中的一个文学形象,首先出现于 《奥德赛》 中, 梦神 (Oneiroi, singular Oneiros) 从这两类人中分离出来:那些用虚幻的景象欺骗人类,通过象牙之门抵达地球之人,以及那些宣告未来即将到 阅读全文
posted @ 2020-02-27 17:07 光彩照人 阅读(717) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示