摘要：
Phoenix二级索引建立源码 Phoenix二级索引建立在hbase的coprocess功能，建立索引的时候使用是 二级索引建立过程，索引rowkey的构建是一个数据流，不停在后面追加，最后生成最终的rowkey形式 public byte[] buildRowKey(ValueGetter va 阅读全文
摘要：
异常信息如下： 这是因为spark本身分发任务的时候，对象本身需要做序列化操作。如果没做，则在服务之间的无法做远程对象通信RPC。 有两种解决的方案： 一种是实体类集成 java.io.Serializable 接口 另一种是： sparkConf.set("spark.serializer", " 阅读全文
摘要：
后台报错信息： 从zk上手工清楚znode。 connect to the cluster zookeeper instance and delete the following node before restart: hbase就可以正常运行了。 参考链接：https://docs.horton 阅读全文
摘要：
HMaster的作用： 为region server 分配region；负责region server的负载均衡，region分裂完成监控；处理schema更新请求，数据表的创建，更新；HDFS上的垃圾文件回收；发现失效的region server并重新分配上面的region； HRegionSer 阅读全文
摘要：
region分裂之后，服务器有可能出现宕机，新的服务器可能加入到集群中，因此，在某种程度中，数据将不会很合理地分布在你所有的region server上，为了帮助集群拥有合理的分布数据，每5分钟（默认的配置调度时间）Hbase Master会启动一个负载均衡算法来保证所有的RegionServer管 阅读全文
摘要：
1.CART树 CART算法流程： 2.算法原理 xgboost对应就是一堆CART树。算法思想就是不断地添加树，不断地进行特征分裂来生长一棵树，每次添加一个树，其实是学习一个新函数，去拟合上次预测的残差。当我们训练完成得到k棵树，我们要预测一个样本的分数，其实就是根据这个样本的特征，在每棵树中会落 阅读全文
摘要：
1.前向分布算法 其算法的思想是，因为学习的是加法模型，如果能够从前往后，每一步只学习一个基函数及其系数，逐步逼近优化目标函数，那么就可以简化优化的复杂度。 2.负梯度拟合 对于一般的回归树，采用平方误差损失函数，这时根据前向分布每次只需要达到最优化，就能保证整体上的优化。由于平方误差的特殊性，可以 阅读全文
摘要：
1.集成学习的概念 集成学习通过构建并结合多个学习器来完成学习任务，有时也被成为多分类器系统，基于委员会的学习。集成学习是通过将多个学习器进行结合，常可获得比单一学习器显著优越的泛化的性能。如何去提高集成学习的性能，最好是个体学习器应该“好而不同”，即个体学习器要有一定准确性，不能太坏，也不能太好。 阅读全文
摘要：
异步：主库将事务Binlog事件写入到Binlog文件中，此时主库只会通知一下Dump线程发送这些新的Binlog，然后主库就会继续处理提交操作，而此时不会保证这些Binlog传到任何一个从库节点上。主库的事务执行不会管备库的同步进度，如果备库落后，主库不幸crash，那么就会导致数据丢失。 半同步 阅读全文
摘要：
1.现在两台机器上安装MariaDB；2.主从备份是要求初始的数据一致的，如果不一致，请先从主数据库dump数据到从库完成数据的备份，然后要注意的是主库的版本一定要小于等于从库的数据库版本，其实最好的是两个数据库版本是一致的；3.在主库上创建一个热备账号，并且拥有replication slave权 阅读全文