上一页 1 2 3 4 5 6 7 ··· 26 下一页

2020年1月17日

云企业网

摘要: 参考: https://help.aliyun.com/document_detail/59870.html?spm=5176.10692594.0.0.4f0f4476Ynd0jg 把阿里的各个vpc连接起来的VPC间,VPC与本地数据中心间搭建私网通信通道 阅读全文

posted @ 2020-01-17 20:43 锋锋2019 阅读(123) 评论(0) 推荐(0) 编辑

2020年1月14日

spark运行

摘要: 阿里云:阿里spark作业配置:https://help.aliyun.com/document_detail/28098.html?spm=a2c4g.11186623.6.650.458d139f8c71x9 资源算法:https://help.aliyun.com/document_detai 阅读全文

posted @ 2020-01-14 21:23 锋锋2019 阅读(125) 评论(0) 推荐(0) 编辑

airflow脚本

摘要: airflow-1脚本:*/2 * * * * /bin/sh /hongfeng/script/rsynce_airflow_log.sh >/dev/null 2>&1*/4 * * * * /bin/sh /hongfeng/script/monitor_scheduler.sh >/dev/ 阅读全文

posted @ 2020-01-14 14:48 锋锋2019 阅读(336) 评论(0) 推荐(0) 编辑

2020年1月11日

emr-spark

摘要: 查spark version:spark-sql --version spark的开源包: apache的dist下载spark-2.4.3-bin-hadoop2.8.tgz 1/ spark要访问s3需要cp /usr/lib/hadoop-current/share/hadoop/tools/ 阅读全文

posted @ 2020-01-11 11:09 锋锋2019 阅读(334) 评论(0) 推荐(0) 编辑

大数据常用链接

该文被密码保护。 阅读全文

posted @ 2020-01-11 10:09 锋锋2019 阅读(3) 评论(0) 推荐(0) 编辑

2020年1月8日

tcpdump dns流量监控

摘要: 参考: dns流量监控 https://www.cnblogs.com/bonelee/p/7966914.html 阅读全文

posted @ 2020-01-08 21:41 锋锋2019 阅读(213) 评论(0) 推荐(0) 编辑

lsof查进程连接等

摘要: 参考: https://www.cnblogs.com/bonelee/p/7735479.html https://www.cnblogs.com/EasonJim/p/8098532.html #查看打开文件数 lsof |wc -l #查看某个进程打开的文件数 lsof -p 19764|wc 阅读全文

posted @ 2020-01-08 21:38 锋锋2019 阅读(1566) 评论(0) 推荐(1) 编辑

模拟登陆

摘要: 模拟登录#!/bin/bashtname="admin"tpasswd="123"name=''passwd=''function login(){echo "请输入用户名:"read nameecho "请输入密码:"read passwd}function check(){ if [ ${tna 阅读全文

posted @ 2020-01-08 21:37 锋锋2019 阅读(65) 评论(0) 推荐(0) 编辑

nginx日志

摘要: 统计nginx access.log文件中对ip地址去重并统计重复数access.log awk '{h[$1]++}END{for(i in h) print i,h[i]}' /var/log/nginx/access.log |sort -nrk2 |head | column -t 阅读全文

posted @ 2020-01-08 21:29 锋锋2019 阅读(83) 评论(0) 推荐(0) 编辑

ulimit配置

摘要: 参考ucloud主机配置: #(可选)临时生效 ulimit -c unlimitedulimit -n 1000000 #打开文件数ulimit -s 10240 #stack size的大小,默认是10Mulimit -u 10000 #不用调,用户的最大进程数,云主机上已调. 永久生效: vi 阅读全文

posted @ 2020-01-08 20:53 锋锋2019 阅读(897) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 ··· 26 下一页

导航