会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
BigData and Machine Learning
博客园
首页
新随笔
联系
订阅
管理
1
2
3
4
5
···
9
下一页
2018年11月23日
DataBrewery Cubes 连接Kylin
摘要:
Cubes可以作为Kylin多维数据查询服务: 例如对0-4这几个销售点,我们要统计2012年每个季度的结果: http://localhost:5000/cube/KYLIN_SALES/aggregate?drilldown=year.QUATER|site&cut=year.YEAR_BEG_DT:date'2012\-01\-01'|site:0-4
阅读全文
posted @ 2018-11-23 13:47 wlu
阅读(508)
评论(0)
推荐(0)
编辑
2018年11月7日
找出数组中求和等于y的所有子数组
摘要: 算法记录: 给定一个数组x,每个元素都是正整数,找出其中满足条件“求和等于y”的所有子数组。(简化问题,每个元素都不相等) x=[x1,...,xn],暴力搜索,复杂度O(2^n),不可取。 动态规划思路。构建矩阵A: A[j,i]=k,如果k!= 1,表示数组[x1,...,xk]包含求和等于j的
阅读全文
posted @ 2018-11-07 19:46 wlu
阅读(639)
评论(0)
推荐(0)
编辑
2018年9月27日
Apache Drill - join HBase and RDBMs
摘要: HBase作为Nosql的常用系统之一,在很多大数据应用/平台中广泛使用。例如通过Spark统计后将结果存放到HBase中。通常统计结果还需要进一步和元数据或者字典表关联从而得到最终结果显示,这意味着可能需要将HBase数据跟RDBMS关联查询。 有两种方案: 通过后台服务分别调用HBase和数据库
阅读全文
posted @ 2018-09-27 22:08 wlu
阅读(751)
评论(1)
推荐(0)
编辑
2018年8月17日
Presto + Superset 数据仓库及BI
摘要:
Presto可以作为数据仓库,能够连接多种数据库和NoSql,同时查询性能很高; Superset提供了Presto连接,方便数据可视化和dashboard生成。 基于Presto和superset搭建数据分析平台。
阅读全文
posted @ 2018-08-17 15:11 wlu
阅读(6180)
评论(1)
推荐(0)
编辑
2018年5月28日
人脸识别准备 -- 基于raspberry pi 3b + movidius
摘要:
本文将描述基于raspberry 3B + movidius作为硬件平台,TensorFlow facenet作为模型实现人脸识别。
阅读全文
posted @ 2018-05-28 22:27 wlu
阅读(3448)
评论(0)
推荐(0)
编辑
2018年4月18日
Apache Phoenix Flume集成 -- JsonEventSerializer改进
摘要: Apache Phoenix官方提供了Flume集成插件,基于该插件我们可以将消息队列的数据插入到Phoenix,例如Kafka中的数据。官方提供了三种消息格式的Serialier: Regex, Json, CSV。我采用了Json,但是发现其中有很多问题不满足我们的需要,本文记录了改进的过程。
阅读全文
posted @ 2018-04-18 16:24 wlu
阅读(1102)
评论(2)
推荐(1)
编辑
2018年4月10日
Mapreduce atop Apache Phoenix (ScanPlan 初探)
摘要: 利用Mapreduce/hive查询Phoenix数据时如何划分partition? 的源码一看便知: 根据select查询语句创建查询计划,QueryPlan,实际是子类ScanPlan。 函数有一个特殊操作: 如果HBase表有多个Region,则会将一个 划分为多个,每个Region对应一个S
阅读全文
posted @ 2018-04-10 21:39 wlu
阅读(377)
评论(0)
推荐(0)
编辑
2018年4月2日
Spark中的Phoenix Dynamic Columns
摘要: 代码及使用示例:https://github.com/wlu mstr/spark phoenix dynamic phoenix dynamic columns HBase的数据模型是动态的,很多系统得益于这一特性。在使用了Phoenix后自然也希望继续使用动态schema特性,有幸,Phoeni
阅读全文
posted @ 2018-04-02 11:37 wlu
阅读(1053)
评论(0)
推荐(0)
编辑
2018年3月19日
cobub razor 安装及使用
摘要: server端安装及配置 apache2 + Mysql5.7 + php7 + redis 参见:http://docs.cobub.com/pages/viewpage.action?pageId=884864 可能需要额外安装: 安装完成后创建新的App并获取其app key。 其它注意点 安
阅读全文
posted @ 2018-03-19 13:22 wlu
阅读(1620)
评论(1)
推荐(0)
编辑
2018年3月2日
unicode 编解码记录
摘要: unicode 万国码。世界上所有的符号都有对应的Unicode code point。一般是2个字节。 这个字节可以通过任意中方式编码为二进制,例如用来保存到文件。一般通过UTF x(例如utf 8)来编码,因为UTF可以编码所有的Unicode code point。 举个例子:
阅读全文
posted @ 2018-03-02 09:45 wlu
阅读(234)
评论(0)
推荐(0)
编辑
1
2
3
4
5
···
9
下一页
公告