随笔分类 -  分布式系统

docker初学笔记
摘要：什么是docker不准确的说，docker是一种轻量级的虚拟机，它把可执行文件和运行环境打包成一个image，放在容器里运行，但是启动速度比虚拟机快很多，资源消耗小。这种技术主要是为了解决部署环境的问题。从远程仓库获取imagedocker pull 同一个名字的image可以加tag，用于区分版本... 阅读全文
posted @ 2015-05-10 15:12 nanoix9 阅读(316) 评论(0) 推荐(0) 编辑
Hive的Transform功能
摘要：Hive的TRANSFORM关键字提供了在SQL中调用自写脚本的功能，适合实现Hive中没有的功能又不想写UDF的情况。例如，按日期统计每天出现的uid数，通常用如下的SQLSELECT date, count(uid)FROM xxxGROUP BY date但是，如果我想在reduce阶段对每天... 阅读全文
posted @ 2014-06-13 14:03 nanoix9 阅读(12114) 评论(0) 推荐(1) 编辑