2019年8月14日

centos7基础安装

摘要: 基础: hostname xxvim /etc/hostname systemctl stop firewalld systemctl disable firewalldsetenforce 0grep SELINUX= /etc/selinux/config | grep -v ^#sed -i 阅读全文

posted @ 2019-08-14 17:10 锋锋2019 阅读(174) 评论(0) 推荐(0) 编辑

aws和ufile挂载数据盘EBS

摘要: 前言: 扩盘是先unmonut,在控制台扩盘,再mount后做xfs_growfs活resize.在linux系统上可以做lvm,步骤是不多个物理盘创建成卷,然后建多个逻辑盘lv.扩容时在控制台扩盘,再在linux用lvextend扩容和resize即可.物理存储的划分见笔记: \文档\运维\存储\ 阅读全文

posted @ 2019-08-14 11:58 锋锋2019 阅读(645) 评论(0) 推荐(0) 编辑

2019年8月13日

hadoop3.1.2部署(hdfs,yarn)+hive3.1.1

该文被密码保护。 阅读全文

posted @ 2019-08-13 15:47 锋锋2019 阅读(196) 评论(0) 推荐(0) 编辑

hadoop原理

摘要: Hadoop是什么: 1) Hadoop 是一个由Apache 基金会所开发的分布式系统基础架构 2)主要解决,海量数据的存储和海量数据的分析计算问题。 3) 广义上来说,HADOOP 通常是指一个更广泛的概念——HADOOP 生态圈 发展历史: 1)Lucene--Doug Cutting 开创的 阅读全文

posted @ 2019-08-13 15:32 锋锋2019 阅读(197) 评论(0) 推荐(0) 编辑

算法服务

摘要: 从数仓的hive里,跑出数据集,用数据集训练模式, 最后输出的是司机分数 anti_fraud.servicedispatch.servicemap.serviceosrm.serviceosrm_car.serviceosrm_walk.servicepersonas.servicematch.s 阅读全文

posted @ 2019-08-13 14:04 锋锋2019 阅读(123) 评论(0) 推荐(0) 编辑

搭建本地parcel仓库

摘要: 参考:https://www.cloudera.com/documentation/enterprise/6/6.2/topics/cm_ig_create_local_parcel_repo.html#download_publish_parcel_repo https://www.cnblogs 阅读全文

posted @ 2019-08-13 11:56 锋锋2019 阅读(623) 评论(0) 推荐(0) 编辑

2019年8月12日

kafka的错误日志log监控

摘要: 例如:需要监控下面的日志中的error 日志文件是这个 /data1/confluent-5.2.2/logs/connect/kafka-connect.log 1/ 参考上一篇安装zabbix_agent:https://www.cnblogs.com/hongfeng2019/p/113385 阅读全文

posted @ 2019-08-12 11:05 锋锋2019 阅读(12216) 评论(0) 推荐(0) 编辑

新服务器加监控

摘要: centos安装安装zabbix-agent端比较简单安装zabbix的官方源rpm -ivh http://repo.zabbix.com/zabbix/4.2/rhel/7/x86_64/zabbix-release-4.2-1.el7.noarch.rpmyum install zabbix- 阅读全文

posted @ 2019-08-12 11:02 锋锋2019 阅读(160) 评论(0) 推荐(0) 编辑

2019年8月10日

CDH6.2的配置

摘要: 访问node1: 192.168.56.11:7180 Username: admin Password: admin#进入欢迎界面 Welcome--Accept License 选免费版 Add Cluster - Installation -- Cluster Basics 填集群名称 填写各 阅读全文

posted @ 2019-08-10 23:01 锋锋2019 阅读(1056) 评论(0) 推荐(0) 编辑

简单nginx代理配置

摘要: nginx.conf: # For more information on configuration, see:# * Official English Documentation: http://nginx.org/en/docs/# * Official Russian Documentati 阅读全文

posted @ 2019-08-10 22:27 锋锋2019 阅读(370) 评论(0) 推荐(0) 编辑

导航