摘要:
背景:客户行为数据越积越多,公司有着挖掘客户大数据分析的需求 方案: 通过大数据仓库离线分析+presto引擎工具实现 用到的组件:hadoop2.7.4 、 hive-1.2.1(不要用2.X版本,坑很多) 、 sqoop-1.4.6 、 presto-server 、metabase(prest 阅读全文
摘要:
背景:k8s启用ipvs模块,重启以后,kube-proxy报错如下 原因: kube-proxy 版本过高 解决方法: 回退kube-proxy版本 命令: kubectl -n kube-system set image daemonset/kube-proxy *=registry.aliyu 阅读全文
摘要:
https://blog.csdn.net/jerry_pan1990/article/details/101773313 阅读全文
摘要:
用tr需要新增变量,用declare或typeset需要在变量赋值前或者赋值后单独声明,都有些麻烦 此方法为bash 4.0以后新增,bash 4.0 2009年发布 $ test="abcDEF" # 把变量中的第一个字符换成大写 $ echo ${test^}AbcDEF # 把变量中的所有小写 阅读全文
摘要:
Error: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): No lease on /user/hive/warehouse/erp_produ 阅读全文
摘要:
hadoop集群搭建 1.配置jdk环境 ##jdk1.8export JAVA_HOME=/mydata/jdk1.8.0_151export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/ 阅读全文
摘要:
背景: 项目加法升级,前后端接口有新增已经修改,上边后的第一天,监控告警频繁,监控大盘公网流出率顶着100%在跑 思路: 通过tcpdump抓包,抓包后的文件用wireshark分析统计一下频次、流量包大小 抓包: -A 将链路层的头最小化 -i 指定网卡 host 抓取所有11.11.11.11地 阅读全文
摘要:
获取http返回码: curl -w "%{http_code}\n" https://www.baidu.com -s -o /dev/null -w 指定获取的参数-s 不显示传输进度 比如这种 ##########100% -o 输出到哪里监控网站响应时间:curl -o /dev/null 阅读全文
摘要:
下载yaml,通过nodeport方式暴露服务端口 [root@master01 ~]# wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-rc7/aio/deploy/recommended.yaml [root@ 阅读全文
摘要:
回收持久卷问题: 1.创建pv2.创建pvc申明绑定pv3.删除pvc4.重新apply pvc.yaml文件kubectl get pvc 会发现pvc状态处于peding 原因: 持久卷回收策略默认为: Retain ,确保在创建持久卷之后将其持久化,让k8s可以再持久卷从持久卷声明中释放后仍然 阅读全文