摘要：
keras提供了 线性的模型，但是有些网络需要多个输入，有些网络有多个输出，更甚之层与层之间有内部分支，这使得网络看起来像是层构成的图，而不是线性的堆叠。有些场景需要多模态的输入，这些的输入来源于不同的数据，例如下面的例子 而有些场景是多个输出，例如给定一部小说，希望将其自动分类（比如爱情、惊悚）， 阅读全文
2019年4月30日
2018年7月4日
摘要：
前几天一个同学在看一段代码，内容是使用gensim包提供的Word2Vec方法训练得到词向量，里面有几个变量 看不懂，就向我求助，我大概给他讲了下code是哈夫曼编码，count应该是这个词在训练语料中出现的计数，point应该是在建树的过程中 路径的节点等等，这个算法我13、14年的时候就看过，所 阅读全文
2018年4月7日
摘要：
tf.nn.conv2d 在使用TF搭建CNN的过程中，卷积的操作如下 这个函数中各个参数的含义是什么呢？ X:输入数据的mini batch，为一个4D tensor；分别表示的含义为[n_batch,height,width,channel] filters:为卷积核，为一个4D tensor， 阅读全文
2018年4月3日
摘要：
在使用TF搭建CNN的过程中，卷积的操作如下 这个函数中各个参数的含义是什么呢？ X:输入数据的mini batch，为一个4D tensor；分别表示的含义为[n_batch,height,width,channel] filters:为卷积核，为一个4D tensor，分别表示的含义为 [fil 阅读全文
2018年3月29日
摘要：
工作中需要用到将hive的数据导一份到mysql中，需求是这样的：hive每天会产生一份用户标签(tag)发生变化的结果表user_tag，这份结果同步到mysql中，并且保持一份全量表，存储当前用户的标签。最初打算是在mysql建立一个分区表，按照天存储user_tag，研究了一下mysql的分区 阅读全文
2018年3月28日
摘要：
综述 当数据集的大小超过一台独立的物理计算机的存储能力时，就有必要对它进行分区并存储到若干台单独的计算机上。HDFS是hadoop的主要分布式存储系统，一个HDFS集群主要包括NameNode用来管理文件系统的metadata，DataNode用来存储实际的数据。下面是HDFS的一些特点 1.Had 阅读全文
2018年3月25日
摘要：
搭建好网络后，常使用梯度下降类优化算法进行模型参数求解，模型越复杂我们在训练神经网络的过程上花的时间就越多，为了解决这一问题，我们就需要找一些优化算法来提高训练速度，TF的 模块中提供了丰富的优化算法，这一节对这些优化器做下简单的对比。 Stochastic Gradient Descent（SGD 阅读全文
摘要：
这一节使用TF搭建一个简单的神经网络用于分类任务，首先把需要的包引入，另外为了防止在多次运行中一些图中的tensor在内存中影响实验，采取重置操作： 为了方便观察随机生成一组两维数据 上面生成的两个类别的数据，均值分别为 和` 1 1` 接下来就是训练模型 上面创建了一个隐含层的网络，使用的是 ，也 阅读全文
摘要：
这一节使用TF搭建一个简单的神经网络用于回归预测，首先随机生成一组数据 随机生成了一组数据，模型为$y=x^2+x$，看一下数据的分布 接下来搭建一个含有一个隐藏层的神经网络，损失选择使用 误差 其中 中提供了常用的损失函数实现，也可以自己去实现，开始训练模型 看一看效果： note: 上面使用了 阅读全文
摘要：
方法1 之前写 "使用sklearn进行数据挖掘 房价预测(4)—数据预处理" 一文中 时候已经提到过，使用sklearn中提供的 和`OneHotEncoder`方法 方法2 sklearn提供的简单方法，上面两步可以合并为一步 方法3 这次需要隆重介绍的是这个方法，在TensorFlow代码中看 阅读全文
