吴莫愁258

2020年12月24日

摘要：欠拟合解决方法：增加输入特征项，增加网络参数，减少正则化参数过拟合解决方法：数据清洗，增大训练集，采用正则化，增大正则化参数阅读全文

posted @ 2020-12-24 15:35 吴莫愁258 阅读(122) 评论(0) 推荐(0) 编辑

摘要：预测值与实际值的差距。常用损失函数：均方误差，交叉熵，自定义阅读全文

posted @ 2020-12-24 15:23 吴莫愁258 阅读(50) 评论(0) 推荐(0) 编辑

摘要：使输出不再是x的线性关系，增强神经网络的表达力。优秀的激活函数：非线性，可微性，单调性，近似恒等性。输出范围：有限值，基于梯度，无限值，调小学习率。 sigmoid函数：求导后为0-0.25。易造成梯度消失，输出非0均值收敛慢，幂运算复杂训练时间长。 Tanh函数：易造成梯度消失，幂运算复杂训练阅读全文

posted @ 2020-12-24 10:26 吴莫愁258 阅读(91) 评论(0) 推荐(0) 编辑

2020年12月23日

指数衰减学习率

摘要： ![](https://img2020.cnblogs.com/blog/2126973/202012/2126973-20201223215424769-1708199656.png) 阅读全文

posted @ 2020-12-23 21:55 吴莫愁258 阅读(42) 评论(0) 推荐(0) 编辑

神经网络（NN）复杂度

摘要： ![](https://img2020.cnblogs.com/blog/2126973/202012/2126973-20201223215212994-878815278.png) 阅读全文

posted @ 2020-12-23 21:54 吴莫愁258 阅读(90) 评论(0) 推荐(0) 编辑

常用函数2

摘要： import tensorflow as tf import numpy as np "tf.where(),条件语句，真返回a" a = tf.constant([1, 2, 3, 1, 1]) b = tf.constant([0, 1, 3, 4, 5]) c = tf.where(tf.gr 阅读全文

posted @ 2020-12-23 21:47 吴莫愁258 阅读(61) 评论(0) 推荐(0) 编辑

常用函数1

摘要： "求沿指定维度的平均值、和（axis=1沿行向量方向）" x = tf.constant([[1, 2, 3], [2, 2, 3]]) print("x:", x) print("mean of x:", tf.reduce_mean(x)) # 求x中所有数的均值 print("sum of x 阅读全文

posted @ 2020-12-23 19:09 吴莫愁258 阅读(100) 评论(0) 推荐(0) 编辑

张量

摘要： "将Numpy数组转换为张量" a = np.arange(0,5) print("数组a:",a) b = tf.convert_to_tensor(a,dtype=tf.int64) print("张量b：",b) "创建全为0的张量" zero_Tensor = tf.zeros([2,3]) 阅读全文

posted @ 2020-12-23 19:04 吴莫愁258 阅读(118) 评论(0) 推荐(0) 编辑

TensorFlow基本语法

摘要：梯度带tf.GradientTape（自动求梯度） Tensorflow 会把 'tf.GradientTape' 上下文中执行的所有操作都记录在一个磁带上 ("tape")。然后基于这个磁带和每次操作产生的导数，用反向微分法（"reverse mode differentiation"）来计算这阅读全文

posted @ 2020-12-23 16:35 吴莫愁258 阅读(159) 评论(0) 推荐(0) 编辑

2020年12月8日

变分推断

摘要：先推断再决策。用推断得到的后验概率P（O|x）=P（x|O）P（O）/P(x)来求P(x'|X) 阅读全文

posted @ 2020-12-08 21:00 吴莫愁258 阅读(71) 评论(0) 推荐(0) 编辑

公告