BigData and Machine Learning

摘要： Cubes可以作为Kylin多维数据查询服务： 例如对0-4这几个销售点，我们要统计2012年每个季度的结果： http://localhost:5000/cube/KYLIN_SALES/aggregate?drilldown=year.QUATER|site&cut=year.YEAR_BEG_DT:date'2012\-01\-01'|site:0-4 阅读全文

摘要： 算法记录： 给定一个数组x，每个元素都是正整数，找出其中满足条件“求和等于y”的所有子数组。（简化问题，每个元素都不相等） x=[x1,...,xn]，暴力搜索，复杂度O(2^n)，不可取。 动态规划思路。构建矩阵A： A[j,i]=k，如果k!= 1，表示数组[x1,...,xk]包含求和等于j的 阅读全文

摘要： HBase作为Nosql的常用系统之一，在很多大数据应用/平台中广泛使用。例如通过Spark统计后将结果存放到HBase中。通常统计结果还需要进一步和元数据或者字典表关联从而得到最终结果显示，这意味着可能需要将HBase数据跟RDBMS关联查询。 有两种方案： 通过后台服务分别调用HBase和数据库 阅读全文

摘要： Presto可以作为数据仓库，能够连接多种数据库和NoSql，同时查询性能很高； Superset提供了Presto连接，方便数据可视化和dashboard生成。 基于Presto和superset搭建数据分析平台。 阅读全文

摘要： 本文将描述基于raspberry 3B + movidius作为硬件平台，TensorFlow facenet作为模型实现人脸识别。 阅读全文

摘要： Apache Phoenix官方提供了Flume集成插件，基于该插件我们可以将消息队列的数据插入到Phoenix，例如Kafka中的数据。官方提供了三种消息格式的Serialier: Regex, Json, CSV。我采用了Json，但是发现其中有很多问题不满足我们的需要，本文记录了改进的过程。 阅读全文

摘要： 利用Mapreduce/hive查询Phoenix数据时如何划分partition？ 的源码一看便知： 根据select查询语句创建查询计划，QueryPlan，实际是子类ScanPlan。 函数有一个特殊操作： 如果HBase表有多个Region，则会将一个 划分为多个，每个Region对应一个S 阅读全文

摘要： 代码及使用示例：https://github.com/wlu mstr/spark phoenix dynamic phoenix dynamic columns HBase的数据模型是动态的，很多系统得益于这一特性。在使用了Phoenix后自然也希望继续使用动态schema特性，有幸，Phoeni 阅读全文

摘要： server端安装及配置 apache2 + Mysql5.7 + php7 + redis 参见：http://docs.cobub.com/pages/viewpage.action?pageId=884864 可能需要额外安装： 安装完成后创建新的App并获取其app key。 其它注意点 安 阅读全文

摘要： unicode 万国码。世界上所有的符号都有对应的Unicode code point。一般是2个字节。 这个字节可以通过任意中方式编码为二进制，例如用来保存到文件。一般通过UTF x（例如utf 8）来编码，因为UTF可以编码所有的Unicode code point。 举个例子： 阅读全文