摘要: 1、一般可以通过beeline(CDH默认是使用hive,就会进入hive操作窗口),代理方式登录hive; 2、使用数据库abc_hive_db:use abc_hive_db; 3、查看数据库中有哪些表:show tables ;有哪些特定表 show tables like '*tb_site 阅读全文
posted @ 2016-11-18 22:03 cctext 阅读(7089) 评论(0) 推荐(0) 编辑
摘要: 背景: 接到任务,需要在一个一天数据量在460亿条记录的hive表中,筛选出某些host为特定的值时才解析该条记录的http_content中的经纬度: 解析规则譬如: Scala代码实现“访问hive,并保存结果到hive表”的spark任务: 开发工具为IDEA16,开发语言为scala,开发包 阅读全文
posted @ 2016-11-18 19:39 cctext 阅读(12631) 评论(0) 推荐(0) 编辑
摘要: 云瓣影音网站&&微信端(已开源) https://github.com/MuYunyun 阅读全文
posted @ 2016-11-18 15:50 cctext 阅读(244) 评论(0) 推荐(0) 编辑