02 2019 档案
摘要：1. 什么是流形 1. 两个例子： 现在我们想表示一个圆， 在平面直角坐标系中，这个圆可以被一个二维点集{(x,y)| x^2 + y^2 流形学习的观点是认为，我们所能观察到的数据实际上是由一个低维流形映射到高维空间上的。由于数据内部特征的限制，一些高维中的数据会产生维度上的冗余，实际上只需要比较
阅读全文
摘要：1. Q1 1. 统计文件中的字符串及其出现次数，按指定格式输出 2. 核心难点讲解：TODO 2. 代码：https://github.com/NjuHaoZhang/MLFall2017_HungYILee/tree/master/hw0 2. Q2 1. 图像亮度调低：把所有点的(r,b,b)
阅读全文
摘要：1. 来源一： hw0. https://blog.csdn.net/lala_623625/article/details/78842007 hw1. https://samaelchen.github.io/2017/10/11/machine_learning_hw01/ hw2: https
阅读全文
摘要：1. 理解卷积 参考： [1]. https://www.zhihu.com/question/22298352/answer/228543288 [2]. https://www.zhihu.com/question/22298352/answer/34267457 [3]. https://ww
阅读全文
摘要：1 . Why Deep? 李宏毅的解释：Modularization 【模块化的益处】 https://zhuanlan.zhihu.com/p/22888385 【另一个知乎大佬】
阅读全文
摘要：0. Introduction ML的RoadMap Regression问题中的Errot ：Where does the error come from? 一种解释：Errot = bias + variance 【偏差+方差】 所以，如果能做出：Bias and Variance of Est
阅读全文
摘要：1. Some tips of Architecture 1. in order to ensure the spatial size satisfy that : input volume == output volume e.g. 5x5 in, 5x5 out. there is a simp
阅读全文
摘要：0. curse of high dimension 1. the historty of object detection 2. iccv2009 multiclass 1. Sharing invariances object recognition is invariant to rotati
阅读全文
摘要：1. keras.utils下面的api CustomObjectScope 提供一个无法转义的 范围。 语句中的代码将能够通过名称访问自定义对象。 对全局自定义对象的更改会在封闭的 语句中持续存在。 在 语句结束时， 全局自定义对象将恢复到 语句开始时的状态。 HDF5Matrix 使用 HDF5
阅读全文
摘要：1. keras封装了Scikit learn，并提供了高层API 1. 你可以使用Keras的顺序模型(仅限单一输入)作为Scikit Learn工作流程的一部分，通过在此找到的包装器: 。有两个封装器可用: , 这实现了Scikit Learn 分类器 接口, , 这实现了Scikit Lear
阅读全文
摘要：1. 模型可视化 1. 模块提供了一些绘制Keras模型的实用功能(使用 )。以下实例，将绘制一张模型图，并保存为文件： 有两个可选参数: (默认为False) 控制是否在图中输出各层的尺寸。 (默认为True) 控制是否在图中显示每一层的名字。 2. 此外，你也可以直接取得 对象并自己渲染它。 i
阅读全文
摘要：1. keras中的约束项 1. 模块的函数允许在优化期间对网络参数设置约束（例如非负性）。约束是以层为对象进行的。具体的 API 因层而异，但 ，`Conv1D Conv2D Conv3D` 这些层具有统一的 API。约束层开放 2 个关键字参数： 用于主权重矩阵。 用于偏置。 2. keras内
阅读全文
摘要：1. 正则化层 1. 正则化器允许在优化过程中对层的参数或层的激活情况进行惩罚。 网络优化的损失函数 也包括 这些惩罚项。( 但不包括 诸如Dropout/人为加Noise这类的正则化)。惩罚是 以层为对象 进行的。具体的 API 因层而异，但 ，`Conv1D Conv2D Conv3D` 这些层
阅读全文
摘要：1. 模型初始化 初始化定义了设置 Keras 各层权重随机初始值的方法。用来将初始化器传入 Keras 层的参数名取决于具体的层。通常关键字为 和 : 内置的初始化工具 (是 模块的一部分) Initializer 初始化器基类：所有初始化器继承这个类。 Zeros 将张量初始值设为 0 的初始化
阅读全文
摘要：1. 后端Backend Keras 是一个模型级库，为开发深度学习模型提供了 高层次 的构建模块。它不处理诸如张量乘积和卷积等低级操作。相反，它依赖于一个专门的、优化的张量操作库来完成这个操作，它可以作为 Keras 的「后端引擎」。相比单独地选择一个张量库，而将 Keras 的实现与该库相关联，
阅读全文
摘要：1. 关于Application Keras 的应用模块（keras.applications）提供了带有预训练权值的深度学习模型，这些模型可以用来进行预测、特征提取和微调（fine tuning）。当你初始化一个预训练模型时，会自动下载权值到 目录下。 2. keras内置的Model 在 Ima
阅读全文
摘要：1. CIFAR10 小图像分类数据集 50,000 张 32x32 彩色训练图像数据，以及 10,000 张测试图像数据，总共分为 10 个类 别。 2. CIFAR100 小图像分类数据集 50,000 张 32x32 彩色训练图像数据，以及 10,000 张测试图像数据，总共分为 100 个类
阅读全文
摘要：1. 回调函数的使用 回调函数是一个函数的合集，会在 训练 的阶段中所使用。你可以使用回调函数来查看 训练模型的内在状态和统计 。你可以传递一个列表的回调函数（作为 关键字参数）到 或 类型的 方法。在 训练 时，相应的回调函数的方法就会被在 各自的阶段 被调用。 2. keras支持的回调函数 1
阅读全文
摘要：1. 激活函数的使用 激活函数可以通过设置 单独的激活层 实现，也可以在 构造层对象 时通过传递 参数实现 2. keras支持的激活函数 1. softmax 2. elu (指数线性单元) 3. selu (可伸缩的指数线性单元) SELU 等同于： ，其中 alpha 和 scale 是预定义
阅读全文
摘要：1. 优化器的使用 1. 优化器(optimizer)是编译Keras模型的所需的两个参数之一： 2. Keras优化器的公共参数 参数 和`clipvalue`能在所有的优化器中使用，用于控制梯度裁剪（Gradient Clipping）： 3. keras支持的Optimizers 1. SGD
阅读全文
摘要：1. 评价函数的用法 1. 评价函数用于评估当前训练模型的性能。当模型编译后（compile），评价函数应该作为 的参数来输入。 2. 评价函数和 "损失函数" 相似，只不过评价函数的结果不会用于训练过程中。我们可以传递已有的评价函数名称，或者传递一个自定义的 Theano/TensorFlow 函
阅读全文
摘要：1. keras中使用loss 2. keras官方支持的 1. mean_squared_error 2. mean_absolute_error 3. mean_absolute_percentage_error 4. mean_squared_logarithmic_error 5. squa
阅读全文
摘要：1. 序列预处理 1. TimeseriesGenerator 用于生成批量时序数据的实用工具类。这个类以一系列由相等间隔以及一些时间序列参数（例如步长、历史长度等）汇集的数据点作为输入，以生成用于训练/验证的批次数据。 2. pad_sequences 将多个序列 截断或补齐 为相同长度。该函数将
阅读全文
摘要：1. 公共函数 1. : 以含有Numpy矩阵的列表形式返回层的权重。 2. : 从含有Numpy矩阵的列表中设置层的权重（与 的输出形状相同）。 3. : 返回包含层配置的字典。此图层可以通过以下方式重置： 4. 如果一个层具有单个节点 (i.e. 如果 它不是共享层 ), 你可以得到它的输入张量
阅读全文
摘要：1. 函数式Model的API 1. 在函数式 API 中，给定一些输入张量和输出张量，可以通过以下方式实例化一个 ： 2. 一些重要的方法 1. compile 2. fit 3. evaluate 4. predict 5. 小函数 train_on_batch test_on_batch pr
阅读全文
摘要：1. 几个重要的API 1. compile：配置或编译模型 2. fit：以指定的epoch自动训练模型 3. evaluate：根据输入的(x,y)来评估上一步得到的模型 4. predict：基于之前得到模型，对输入的x预测输出结果 5. 一些小函数 train_on_batch test_o
阅读全文
摘要：1. keras模型官方实现的Model 1. 在 Keras 中有两类主要的模型： "Sequential 顺序模型" 和 "使用函数式 API 的 Model 类模型" 。 2. 两类模型的方法和属性大致相同： 是包含模型网络层的展平列表。 是模型输入张量的列表。 是模型输出张量的列表。 打印出
阅读全文
摘要：1. "sample", "batch", "epoch" 分别是什么？ 为了正确地使用 Keras，以下是必须了解和理解的一些常见定义： Sample : 样本，数据集中的一个元素，一条数据。 例1: 在卷积神经网络中，一张图像是一个样本。 例2: 在语音识别模型中，一段音频是一个样本。 Batc
阅读全文
摘要：1. ngrok配置ssh端口转发 1. 工具：小米球(ngrok二次开发版) 2. 配置过程： 1. 下载几个文件 http://ngrok.ciqiuwl.cn/ ( linux64: ngrok ngrok.cfg) 注意：下载完ngrok之后，如果是linux64，还需要执行 让ngrok成
阅读全文
摘要：1. 我的虚拟环境名字 tensorflow_18 2.anaconda中虚拟环境的真正python解释器的位置，感觉好坑 /home/zh/anaconda3/envs/tensorflow_18/bin/python [因为默认python为3.6.0] 3. 这个虚拟环境对应安装的所有pack
阅读全文
摘要：1. tensorboard的histogram怎么看 1. 一个超好的tensorboard使用指南 [1] https://www.jianshu.com/p/d059ffea9ec0 (非常好的资料，我应该拿MNIST做个类似的example，训练下自己的tensorboard能力) [2]
阅读全文
摘要：0. 我对jupyter的理解 v1: 1. 个人认为，markdown是写简单博客以及速记一些idea最好的方式，Latex是敲paper最佳的方式，但是 做实验 ，特别是运行 代码的实验 ，我们希望这样的功能：【在一个文件中充满了实验细节，实验思路，源代码，注释，等等，还希望能随手在代码旁边保存
阅读全文
摘要：Seq2seq with Attention (Example: Neural machine translation) Beyond RNNs: Transformer, Tensor2Tensor Dialogue agents (A3) Reinforcement Learning in Te
阅读全文
摘要：1. 理论review 1.1 RNN 1. Agenda From feed forward to recurrent / Tricks & treats / Presidential tweets 2. BPTT Use sum of gradients each all timesteps t
阅读全文
摘要：1. VAE 1. lecture link: https://docs.google.com/presentation/d/1VSNlkGcR b39tMcuREjzZdhYOPvoZudpcbuNlf5hOIM/edit slide=id.g334db163d4_0_41 2. todo, 我打
阅读全文
摘要：1. 一些先修知识 1.1 TFrecord 1. 优点：tf官方推荐格式，兼容大部分格式，采用二进制保存文件，在tf中处理效率最高 2. cs20的一个good example: 写tfrecord的pipeline 读tfrecord的pipeline 一个示例： 3. 一个过时的queue的例
阅读全文
摘要：1. Assignment_1 1.1 1d解答 1. tf.where() 我的实践代码： 参考： [1] https://blog.csdn.net/A_a_ron/article/details/79048446 (讲得不错) [2] https://blog.csdn.net/ustbbsy
阅读全文
摘要：1. namspace(scope) 1.1 name_scope: create namespaces， ops分组, 进而tensorboard可以各个ops进行分组显示，进而使得tensorboard的可视化效果更好，进而有助于debug 1.2 variable_scope: 使用tf.ge
阅读全文
摘要：0. 华师 张凯旭问我启发的一个学习资料 如何加载/保存原模型？fine tune如何实践？如何实践transfer learning ? 当前我的答案：https://cv tricks.com/tensorflow tutorial/save restore tensorflow models
阅读全文
摘要：1. eager速记 1. 可以用大部分python的方法，而不仅限于tf.xxx is compatible with Python debugging tools: provides immediate error reporting，而不需要sess.run(xxxerror) permits
阅读全文
摘要：1. tf.data 1. 相比 feed_in和placeholder的优势：数据的一些操作(比如shuffle/batch/repeat/map)集成在tf中，所以效率高速度快，而且属于high level api，使用方便 2. 3. 输出一些dataset的types/shape以做sani
阅读全文
摘要：1. Linear Regression: Predict life expectancy from birth rate 1.1 Problem 1. 描述问题： I recently came across the visualization of the relationship betwee
阅读全文
摘要：0. Review 1. Computation graph TensorFlow separates definition of computations from their execution Phase 1: assemble a graph Phase 2: use a session t
阅读全文
摘要：1. Tensorboard 1. tensorboard使用 Note : If you've run your code several times, there will be multiple event files in your [logdir]. TF will show only t
阅读全文
摘要：1. Agenda Basic operations Tensor types Importing data Lazy loading 2. Basic operations 1. tensorborad使用介绍 2. Constants, Sequences, Variables, Ops con
阅读全文
摘要：1. Why Tensorflow 1. key idea: For a framework to be useful in production : it needs to be efficient, scalable, and maintainable . For research : the
阅读全文
摘要：1. 基本特点 1.1 save computation(惰性运行) 如上，因为 不需要用到 ，所以 的运算不会被执行(save computation) 1.2 Distributed Computation 1. 大图分解为子图多GPU并行计算, e.g. freamework举例 2. Mul
阅读全文
浙公网安备 33010602011771号