04 2024 档案
摘要:创建svc报错 Internal error occurred: failed to allocate a serviceIP: range is full k8s svc的网段默认ip为256个,在master节点的/etc/kubernetes/manifests/kube-apiserver.
阅读全文
摘要:Yarn的基本思想是将资源管理和作业调度、监视功能划分为单独的守护进程。其思想是拥有一个全局ResourceManager(RM)以及每个应用程序拥有一个ApplicationMaster(AM)。应用程序可以是单个作业,也可以是一组作业。 一个ResourceManager和多个NodeManag
阅读全文
摘要:tcpdump是linux环境下抓包工具,可以对对应网络接口流量进行抓取或者过滤抓取,可以打印输出到屏幕,也可以保存到指定文件。指定的文件可以用wireshark来打开查看。可以快速查看符合网络接口符合某一条件的抓包,方便我们确定网络问题。 常用参数如下 - i (interface) 指定要监听的
阅读全文
摘要:1.配置了acl后内网测试拒绝策略不生效 acl是针对vpc与子网做的策略,内网通过dx和tgw(中转网关)实现线下服务与线上服务连通,在创建tgw时选择了两个子网 那么这两个子网中的的acl的策略由于与tgw的子网相同,所以内网对于这个acl的策略就是不生效的。
阅读全文
摘要:1.配置文件 hadoop的默认配置文件都在$HADOOP_HOME/share下,先读取这个默认值,再读取etc中用户配置的值,用户配置的值将覆盖默认值 cd $HADOOP_HOME/sharemkdir -p /data/test find -name "*-default.xml" -exe
阅读全文
摘要:大数据一般处理流程: 数据源:关系型数据库、日志文件、三方数据 --> 数据采集或同步:sqoop(RDBMS与HDFS直接的导入与导出)、flume(日志文件,给HDFS及kafka)、kafka(实时数据处理) --> 数据存储:HDFS、Hbase、ES --> 数据清洗:MapReduce、
阅读全文