11 2018 档案
摘要：tensorflow 工程 实践 范例
阅读全文
摘要：
阅读全文
摘要：git中有几个关键概念和节点：本地工作文件夹，暂存区，本地仓库，远程仓库！仓库是相当于对具体文件进行管理的元数据！
阅读全文
摘要：https://blog.csdn.net/thriving_fcl/article/details/75213361 同一个模型图，可以根据根据输入输出任意组成signature_def，使模型的任意组合使用方便， signature_def了一种组织方式！ 一个图标签下，可以任意组合很多种sig
阅读全文
摘要：tensorflow estimator 与 model_fn 是这样沟通的
阅读全文
摘要：面向过程、面向函数、面向对象的区别浅谈
阅读全文
摘要：Python 中自定义spark转换器
阅读全文
摘要：pyspark 使用的细节问题
阅读全文
摘要：variable_scope 与 name_scope 区别： 顾名思义，变量共享时就用变量空间，只是为了取名字是就用名字空间 看构造函数就知道了，变量空间多了reuse 调用新建操作都会有新的命名空间产生，with ...是个新建操作，为接下来的操作加前缀 用一个的话就用variable_scop
阅读全文
摘要：tensorflow 条件语句与循环语句 条件语句与switch 循环语句 下面的揭示了本质，这种语句条件循环在scala中常见，scala不提倡用break，用如下方式；这也是程序具有了动态性！ 返回： 循环后循环变量的输出张量。如果return_same_structure为True，则返回值具
阅读全文
摘要：tensorflow 如何生成各种随机数，不要限制在框架内！ X = tf.placeholder(tf.int32,shape=(None,None)) int1 = sess.run(X,feed_dict={X:[random.choices([1,2,3,4,5,6,7,8],k=5) fo
阅读全文
摘要：以下两种方式有什么不一样，以及优劣？ 总结一下就是并存三个迭代器对象，而不像之前只有一个，通过重新初始化便可多次复用；当前的情况就是，另外两个借助一个迭代器到达next_element; 像汇流一样。 可馈送迭代器可以与 tf.placeholder 一起使用，以选择所使用的 Iterator（在每
阅读全文
摘要：大家觉得这两段简单的代码有什么本质不同吗？ max_value = tf.placeholder(tf.int64, shape=[]) dataset = tf.data.Dataset.range(max_value) iterator = dataset.make_initializable_
阅读全文
摘要：https://www.oreilly.com/learning/extend spark ml for your own modeltransformer types 要了解有关Spark ML所基于的数据集API的未来的更多信息，请查看Holden Karau和Seth Hendrickson的
阅读全文
摘要：概述：估算器，变换器和管道 spark.ml 该spark.ml软件包旨在提供基于DataFrame构建的一组统一的高级API ，帮助用户创建和调整实用的机器学习流程。有关子包的指南，请参阅下面的算法指南部分 spark.ml，包括Pipelines API特有的功能转换器，集合等。 管道中的主要概
阅读全文
摘要：Namespace and Scope（命名空间和作用域） namespace Namespace（只）是 从名字到对象的一个映射(a mapping from name to objects) 。大部分namespace都是按Python中的字典来实现的。有一些常见的namespace：built
阅读全文
摘要：FeatureUnion 与 ColumnTransformer 关系
阅读全文
摘要：对于很多 Java 开发人员来说，注解（Annotation）已经是一个十分熟悉的概念。而在 JavaScript 中（目前仍然是 Stage 2 的 ES Proposal），引入了一个类似的语法——装饰器（Decorator）。 甚至有很多人在生活中不加区分两个的概念，把装饰器也叫做注解。那么，
阅读全文
摘要：编写装饰器无外乎涉及到几种参数 装饰器自己的参数，被装饰函数，被装饰函数的参数，正好对应三个参数入口（也即三个函数）来按顺序接收这些参数；函数式中就是三层嵌套函数，类式装饰器就是初始化方法，__call__方法，加一个__call__下嵌套的包裹方法即可！！ def debug(func): def
阅读全文
摘要：闭包定义： 如果在一个内部函数里，对在外部作用域（但不是在全局作用域）的变量进行引用，那么内部函数就被认为是闭包; 闭包的概念：闭包（Closure）是词法闭包（Lexical Closure）的简称，是引用了自由变量的函数。这个被引用的自由变量将和这个函数一同存在，即使已经离开了创造它的环境也不例
阅读全文
摘要：按组k fold 与 单样本k fold有不同，简单k fold从第一个样本到最后一个样本，基本按顺序分组，而按组的方式不是！这也是在样本独立情况下需要shuffle的原因。 k fold 的样本可以有不同，不仅仅是[1, 2], [3, 4], [5,6], [7,8] ，还可以是[2, 3],
阅读全文
摘要：尽管Spark ML管道提供了各种各样的算法，你仍可能想要额外的功能，并且不脱离管道模型。在Spark Mllib中，这算不上什么问题，你可以通过RDD的变换来实现你自己的算法，并继续下去。对于Spark ML 管道来说，同样的方法是可行的，但是我们会失去一些管道所具备的优良特性，包括自动执行元算法
阅读全文
摘要：名字空间是 Python 最核⼼心的内容。 x NameError: name 'x' is not defined 我们习惯于将 x 称为变量，但在这⾥里，更准确的词语是 "名字"。 和 C 变量名是内存地址别名不同，Python 的名字实际上是⼀一个字符串对象，它和所指向的⺫⽬目标对 象⼀一起在
阅读全文
摘要：Mixin vs inheritance Ask Question up vote 76 down vote favorite 19 What is the difference between a mixin and inheritance? oop inheritance mixins shar
阅读全文
摘要：As model_selection.GridSearchCV uses set_params to apply parameter setting to estimators, it is essential that calling set_params has the same effect
阅读全文
摘要：通用术语和API元素词汇表 本词汇表希望明确地代表Scikit learn及其API中应用的默认和明确的约定，同时为用户和贡献者提供参考。它旨在描述概念，并详细说明其相应的API或链接到文档的其他相关部分。通过链接API参考和用户指南中的词汇表条目，我们可以最大限度地减少冗余和不一致。 我们首先列出
阅读全文
摘要：在计算机编程中，自省是指这种能力：检查某些事物以确定它是什么、它知道什么以及它能做什么。即 列出对象的所有属性和方法，自省(反射)就是告诉我们，这个对象到底是什么，提供了什么功能。 自省向程序员提供了极大的灵活性和控制力。简单一句：就是运行时能够获得对象的类型。比如 type()、dir()、get
阅读全文
摘要：Constructs a transformer from an arbitrary callable. A FunctionTransformer forwards its X (and optionally y) arguments to a user defined function or f
阅读全文
摘要：变换器通常与分类器，回归器或其他估计器组合以构建复合估计器。最常见的工具是 管道。管道通常与FeatureUnion结合使用 ，后者将变换器的输出连接成复合特征空间。 TransformedTargetRegressor处理转换目标 （即对数转换y）。相反，Pipelines只转换观察到的数据（X）
阅读全文
摘要：Java 泛型和继承的区别 转自：http://www.xasxt.com/index.php/article/jiaocheng/shipin_7113.html 泛型就是广泛的类型，就是在不同类型之间都可以使用的就叫做泛型，使用的是类型里面的方法，所以如果要使用泛型就需要保证使用泛型的类需要有共
阅读全文
摘要：Many datasets contain features of different types, say text, floats, and dates, where each type of feature requires separate preprocessing or feature
阅读全文
摘要：机器学习（ML）模型中有许多移动部件必须连接在一起才能使ML模型成功执行并生成结果。将ML过程的不同部分捆绑在一起的过程称为管道。对于数据科学家来说，管道是一个概括但非常重要的概念。在软件工程中，人们构建管道来开发从源代码到部署的软件。类似地，在ML中，创建了一个管道，以允许数据从其原始格式流向一些
阅读全文
摘要：最近要将系统改造成pipeline架构，所以研究了一下pipeline相关的理论，servlet filter, struts2 interceptor, spring mvc interceptor, webx pipeline和netty pipeline的一些源码。一些总结： 结构： 1. P
阅读全文
浙公网安备 33010602011771号