tensorflow(七)
摘要：一、模型托管工具 TensorFlow Serving TensorFlow Serving支持生产级的服务部署，允许用户快速搭建从模型训练到服务发布的工作流水线。 工作流水线主要由三部分构成 (1).持续训练过程:基于持续输入的批数据，使用TensorFlow不断训练模型，并将模型定期保存到指定目
阅读全文
posted @ 2019-12-26 02:02
12 2019 档案
tensorflow(六)
摘要：一、TensorBoard可视化工具 TensorBoard实现形式为web应用程序，这为提供分布式、跨系统的图形界面服务带来了便利。 1.使用流程 SummaryOps->Session--(input)-->FileWriter (add) >Event file (load)-->Tensor
阅读全文
posted @ 2019-12-25 01:21
tensorflow(五)
摘要：一、单机编程框架 单机程序是指启动和运行都在一台机器的一个进程中完成，因为没有网络开销，非常适合参数不多、计算量小的模型。 步骤，创建单机数据流图，创建并运行单机会话。 如果想指定机器上的设备如cpu,gpu 可以使用 with tf.device('/cpu:0'): …… 二、分布式程序编程框架
阅读全文
posted @ 2019-12-24 02:57
tensorflow(四)
摘要：tensorflow数据处理方法， 1.输入数据集 小数据集，可一次性加载到内存处理。 大数据集，一般由大量数据文件组成，因为数据集的规模太大，无法一次性加载到内存，只能每一步训练时加载数据，可以采用流水线并行读取数据。 流水线并行读取数据过程， (1)创建文件名列表(2)创建文件名队列(3)创建R
阅读全文
posted @ 2019-12-23 03:45
tensorflow(三)
摘要：1.placeholder 一个数据占位符，用于在构建一个算法时留出一个位置，然后在run时填入数据。 2.variable 存储节点作为数据流图中的有状态节点，其主要作用是在多次执行相同数据流图时存储特定的参数，如深度学习或机器学习的模型参数。对于无状态节点，其输出由输入张量和节点操作共同确定，对
阅读全文
posted @ 2019-12-22 03:47
tensorflow(二)
摘要：使用图来表示计算任务 在被称之为session的上下文中执行图 使用tensor表示数据 通过变量来维护状态 使用feed和fetch可以为任意的操作复制或者从其中获取数据 tensorflow是一个编程系统，使用图来表示计算任务，图中的节点称之为op，一个op获得0个或多个tensor，执行计算，
阅读全文
posted @ 2019-12-20 02:01
tensorflow(一)
摘要：一、安装 pip install tensorflow 二、简介 tensor是张量的意思，flow是流动 张量是数据的载体，包括标量，向量，矩阵，数据立方，n维的数据 tensorflow的数据流图，用节点和有向边描述数学运算的有向无环图，图中节点代表操作，具体包括数学运算，数据填充，结果输出和变
阅读全文
posted @ 2019-12-19 02:45
lucene
摘要：1.索引建立过程 生成write.lock文件， 然后生成fdt,fdx文件 在lucene中，fdt与fdx文件都是在FieldsWriter中生成的。对于每个Document,解析其Fields中的内容后（这个解析过程是比较复杂的，包括分词等操作，后面详细讨论），把Document中的Field
阅读全文
posted @ 2019-12-18 00:58
线性回归-最小二乘法求解
摘要：1. 概述: 线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。 其表达形式为y = w'x+e。 demo: 对于一组数据{ (100,20),(160,30),),(60,15)………… },假定x,y之间满足某种线性关系。给出目标函
阅读全文
posted @ 2019-12-17 00:00
决策树和随机森林
摘要：决策树是一种非参数监督学习预测模型。 决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。 1.举例: 举个校园相亲的例子，今天校园的小猫(女)和小狗(男)准备配对，小猫如何才能在众多的优质🐶的心仪的狗呢？于是呢？有一只特乖巧的小猫找到了你
阅读全文
posted @ 2019-12-14 17:44
隐马尔可夫随机场HMM
摘要：概率知识点： 0=<P(A)<=1 P(True)=1;P(False)=0 P(A)+P(B)-P(A and B) = P(A or B) P(A|B)=P(A,B)/P(B) => P(A,B)=P(A|B)P(B) =>P(A,B,C) = P(A|B,C)P(B|C)P(C) 如果A,B
阅读全文
posted @ 2019-12-14 01:30
svm支持向量机
摘要：线性可分支持向量机 指可以在两个分类的数据点之间找到一个超平面(WTx + b = 0)，使得两个分类与该平面的最小距离相等， 其中离该平面最近的点就是支撑向量,即WTx+b=1或WTx+b=-1 y(xn)=WTx+b y(xn)>0 tn=1 y(xn)<0 tn=-1 =>tn*y(xn)>0
阅读全文
posted @ 2019-12-12 22:07
adaboost
摘要：Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。 过程： 首先对于向量{XT,y},给定初始权值1/N，目标函数 y=sign(amGm(x)),其中am初始为1，首次Gm(x)可以凭经验给出
阅读全文
posted @ 2019-12-11 16:47
pca和svd
摘要：pca主要用于去噪，降纬。 pca的主要功能就是在最大成都上保留原有数据特征的前提下缩减数据的纬度。 过程:对于矩阵A，首先求它的协方差矩阵，然后求协方差矩阵的特征向量，特征向量对应的特征值排序， 取前几个特征值对应的特征向量构成的新向量构成的矩阵B，AB得到的新矩阵即为目标矩阵。 svd又叫奇异值
阅读全文
posted @ 2019-12-10 18:03
