下士闻道

摘要： 线性模型最终训练出来的是w列向量；验证以及判断都是基于这个训练出来的w列向量进行的。所以，所谓的线性模型是指数据的分布大体是满足一次方程的；线性模型学习的结果就是把这个一次方程的w给获得，这样就可以得到一个模型了；未来只要向这个模型（一次方程）传入样本即可得到结果。模型是一个什么概念？总体来讲模型是 阅读全文

摘要： 1.map函数 map函数用于将指定的数据成员都使用指定函数进行处理。 比如： 这两个函数分别将arr中成员转换为float类型，以及对于arr中成员求平方。 还可以通过lamba函数来进行指定匿名函数： 但是注意map函数在python2中返回的是List（原生数组），但是在python3中返回的 阅读全文

摘要： for splitValue in set(dataset[:, featureIndex].tolist()): 首先set是一个无序，无重复的数据结构，所以很多时候使用它来进行去重；但是set接收的函数是原生array，这个怎么办？我现在有的numpy里面的matrix；于是我查了一下，直接使用 阅读全文

摘要： python print format %o —— oct 八进制 %d —— dec 十进制 %x —— hex 十六进制 1 1 >>> print('%o' % 20) 2 2 24 3 3 >>> print('%d' % 20) 4 4 20 5 5 >>> print('%x' % 20 阅读全文

摘要： 之前开发使用的其实都是lowLevel的api，所谓lowlevelapi就是操作ES的json字符串要自己去写；所谓highlevel的api就是指将查询的json字符串给对象化，创建一个SearchSourceBuilder 对象，设定from，size等属性来实现；而且现在higlevel a 阅读全文

摘要： Exactly-Once的概念是指"恰好一次"，简单讲就是同一个数据只会被处理一次，应用有机质保证不会重复处理同一条数据（如果数据因为因为网络业务异常被发送多次）；Exactly-Onece实现了操作的等幂性，如果在kafka处理数据全流程保证历史/重新处理数据结果都是一致的。 Kafka处理数据的 阅读全文

摘要： 之前对于树剪枝一直感到很神奇；最近参考介绍手工写了一下剪枝代码，才算理解到底什么是剪枝。 首先要明白回归树作为预测的模式（剪枝是针对回归树而言），其实是叶子节点进行预测；所以在使用回归树进行预测的时候，本质都是在通过每层（每个层代表一个属性）的值的大于和小于来作为分值，进行二叉树的遍历。最后预测值其 阅读全文

摘要： 同样的一段代码，在两个python文件里面执行的结果不一样，一个是按照列单位进行sum一个是所有元素进行sum； 搞了半天，最后想到了，是不是可能sum语义不同，python原生和numpy的两个？一查，果然sum分两种； 在第一个类文件里面（第二个类文件有一句: from numpy import 阅读全文

摘要： 1.dict is not callable tree是一个字典类型。 tree("left") -> tree["left"] 2.list indices must be integers or slices, not tuple dataset是原生的python数组，是list类型（pyth 阅读全文