摘要:
oneid与用户标签之间的相互打通 实现用户画像打标行为 附录说明: 整个流程: 1、使用数据源数据进行数据清理(整理出关联数据与将要打标的数据值) 2、将关联键值与oneid对应关联起来 并整理好将要打标值的外部关联格式化 3、数据打标形成格式 4、数据输入中间表 目的是汇总多个源产生的数据标签方 阅读全文
摘要:
图计算实现ID_Mapping、Oneid打通数据孤岛 ID_Mapping与Oneid的作用 大神告诉我们Oneid能用来做什么 输入数据源格式样例 实现原理 当日代码生成 引用jar包 启动命令 辛苦码字如有转载请标明出处谢谢!——拜耳法 PS:我要在下一章在我心中不完美的你打一个淋漓尽致的标签 阅读全文
摘要:
最近一段时间因工作需要接触了一些hive上的使用!当然大部分都是比较基本的使用,仅当入门!各位看到有不足之处望多多指正! 废话不多说,开始: 首先是创建数据库 create database ‘数据库名称’ 创建外部表(大部分时候我使用的是外部表): CREATE EXTERNAL TABLE tm 阅读全文
摘要:
下载安装包 git clone https://github.com/cloudera/hue.git cd hue 依赖安装包: CentOS: ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libti 阅读全文
摘要:
Kafka监控安装 一、Kafka监控软件选择 Kafka Web Console:监控功能较为全面,可以预览消息,监控Offset、Lag等信息,但存在bug,不建议在生产环境中使用。 Kafka Manager:偏向Kafka集群管理,若操作不当,容易导致集群出现故障。对Kafka实时生产和消费 阅读全文
摘要:
目录 第一章hadoop集群搭建2 各台机器集群配置状况分布设置2 一、 关于免密码登录操作2 二、免密码登录遇到的问题:4 三、hadoop集群搭建6 三、配置高可用resourceManager+yarn16 四、安装zookeeper23 五、启动hadoop25 六、mapreduce测试h 阅读全文
摘要:
一、 系统环境准备 1、网络配置 vi /etc/sysconfig/network vi /etc/hosts 在虚拟机配置网络环境,内外网访问,ping命令测试 在虚拟机及本地电脑配置机器间地址便捷访问 2、SSH免密钥登录(三台虚拟机之间互相免秘钥) ssh-keygen -t dsa -P 阅读全文
摘要:
一、选择环境: 1.说明 本次部署使用台机器,3台用于搭建CDH集群,1台为内部源。内部源机器是可以连接公网的,可以提前部署好内部源,本次部署涉及到的服务器的hosts配置如下: 192.168.10.114 sp-04 192.168.10.115 sp-05 192.168.10.116 sp- 阅读全文
摘要:
nagios与zabbix对比 阅读全文
摘要:
Ganglia的安装部署 前言 1 一、Ganglia组件 1 二、安装依赖 2 三、安装expat依赖 2 四、安装confuse 3 五、安装ganglia 4 六、 服务端配置(gmetad 节点) 4 七、客户端配置(gmond节点) 6 八、服务端的WEB配置 8 九、测试安装是否成功 9 阅读全文