04 2019 档案
摘要：本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。 Hadoop的默认配置文件（以cdh5.0.1为例）： core-default.xml hdfs-default.xml mapred-default.xml 说明： 在hadoop2中有些参数名称过时了，例
阅读全文
摘要：Hadoop Hive概念学习系列之什么是Hive？ 参考 《Hadoop大数据分析与挖掘实战》的在线电子书阅读 http://yuedu.baidu.com/ebook/d128cf8e33687e21ae45a935?pn=1&click_type=10010002 Hive最初是应Facebo
阅读全文
摘要：hive进行mapreduce卡壳解决方法 在google搜索得出的解决方案是在执行的hive语句前添加以下几条参数值设定语句： set mapreduce.job.reduces=512;set hive.groupby.skewindata=true;set hive.optimize.skew
阅读全文
摘要：shipyard中文版正式发布 一、 Docker Shipyard是什么 ？shipyard是一个开源的docker管理平台，其特性主要包括： 支持节点动态集群，可扩展节点的规模（swarm、etcd方案） 支持镜像管理、容器管理、节点管理等功能 可视化的容器管理和监控管理 在线容器console
阅读全文
摘要：type 必选项，1表示container，2表示swarm stack，3表示compose stack title 必选项 description 必选项 image 必选项，该应用使用的docker镜像 administrator_only 可选项，是否只有管理员可用模板 name 可选项，该
阅读全文
摘要：20、编写批量修改扩展名脚本 #!/bin/bash # 编写批量修改扩展名脚本,如批量将 txt 文件修改为 doc 文件 # 执行脚本时,需要给脚本添加位置参数 # 脚本名 txt doc(可以将 txt 的扩展名修改为 doc) # 脚本名 doc jpg(可以将 doc 的扩展名修改为 jp
阅读全文
摘要：https://blog.51cto.com/14306339/2384829 https://blog.51cto.com/14078334/2384775 https://blog.51cto.com/13854477/2383947 https://blog.51cto.com/1385447
阅读全文
摘要：执行结果： curl -sS --connect-timeout 3 -m 60 $node/check.txt [root@xuegod-node1 docker]# sysctl -a|grep fs.file #查看系统级限制 最大打开文件描述符的限制。fs.file-max = 95896f
阅读全文
摘要：https://www.cnblogs.com/ginvip/p/6352157.html http://www.ruanyifeng.com/blog/2018/11/awk.html https://www.jianshu.com/p/922dcad38ac2 awk是一个强大的文本分析工具，a
阅读全文
摘要：在第四行后面添加一行，并将结果输出到标准输出（不修改原文件）： 以行为单位的新增/删除 将 /etc/passwd 的内容列出并且列印行号，同时，请将第 2到第5 行删除！ 只要不加-i就不会修改原文件， sed 后面接的动作，请务必以 '' 两个单引号括住喔！ 只要删除第 2 行 要删除第 3 到
阅读全文
摘要：创建hadoop用户 可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题，执行： su hadoop # 切换到hadoop用户 export JAVA_HOME=/usr/ source /etc/profile 配置无密码登录 我们选择将 Hadoop 安装至
阅读全文
摘要：https://www.w3cschool.cn/zookeeper/zookeeper_cli.html ZooKeeper是一种分布式协调服务，用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程。ZooKeeper通过其简单的架构和API解决了这个问题。ZooKeeper允许开发人员
阅读全文
摘要：安装ansible： AnbleVersion2.4及更高版本可以管理包含Python2.6或更高版本的早期操作系统。 yum方式安装： yum源或rpm包来源：埃佩尔以及Relases.ansible.com. $ sudo yum install ansible $ sudo yum insta
阅读全文
摘要：免密 下框中在管理机上运行： $ssh-keygen -t rsa -P '' -f /root/.ssh/id_rsa #-t 指定rsa 加密算法 #-P 指定密码，次数为空 #-f 指定key文件路径 ssh -i ~/.ssh/id_rsa_test2 root@10.1.0.3 #指定对应
阅读全文
摘要：yum 缓存包到本地 yum install –downloadonly –downloaddir=/root/mypackages/ vim 说明： --downloadonly 只下载 --downloaddir 下载包存放的路径 /root/mypackages 下载包存放的位置 vim 下载
阅读全文
摘要：https://www.cnblogs.com/kevingrace/p/10482469.html MySQL 8 正式版 8.0.11 已发布，官方表示 MySQL 8 要比 MySQL 5.7 快 2 倍，还带来了大量的改进和更快的性能！ 一. Mysql8.0版本相比之前版本的一些特性 1)
阅读全文
摘要：请到这个地址看：https://www.cnblogs.com/kevingrace/p/10482469.html Centos7安装MySQL8.0 - 操作手册 一、yum安装方式： 卸载之前版本的mysql： [root@DB-node01 ~]# for i in $(rpm -qa|gr
阅读全文
摘要：己做一遍，然后再看对应的答案，这样效果更好。 已知有如下4张表： 学生表： Student(s_id,s_name,s_birth,s_sex) –学生编号,学生姓名, 出生年月,学生性别 课程表： Course(c_id,c_name,t_id) – –课程编号, 课程名称, 教师编号 教师表：
阅读全文
摘要：安装libressl 下载地址： https://ftp.openbsd.org/pub/OpenBSD/LibreSSL/libressl-2.7.4.tar.gz 或者 ：https://pan.baidu.com/s/1zZSPmERAvkEU4-ggj-wpgA 提取码：zusy libre
阅读全文
摘要：https://docs.saltstack.com/en/getstarted/fundamentals/index.html https://pypi.org/simple/cherrypy/ 安装virtualbox：https://www.virtualbox.org/ 安装vagrantu
阅读全文
摘要：在要用作中央管理点的系统上运行这些命令。 curl -L https://bootstrap.saltstack.com -o install_salt.sh sudo sh install_salt.sh -P -M 你的盐主可以管理自己，所以盐主和盐主一起安装了盐奴才。如果您不想安装仆从，也可以
阅读全文
摘要：https://blog.51cto.com/lookingdream/2060292 一、规划 1、swarm01作为manager节点，swarm02和swarm03作为worker节点。 # cat /etc/hosts 127.0.0.1 localhost 192.168.139.175
阅读全文
摘要：https://www.cnblogs.com/agnewee/p/6487262.html 官方资料：https://docs.saltstack.com/en/latest/ref/configuration/index.html 官网资料：https://repo.saltstack.com/
阅读全文
摘要：https://blog.csdn.net/qq_15260769/article/details/80731407 https://pypi.org/project/pip/
阅读全文
摘要：一、为什么需要SDN SDN已成为实现云计算的重要方法，其技术已席卷了企业私有云和公有云服务提供商数据中心的方方面面。但是它定义模糊，因为没有人对其进行标准化定义。 2015年双十一天猫创下了9个吉尼斯世界纪录： 912.17亿的交易额再次打破“24小时单一公司网上零售额最高”的吉尼斯世界纪录。此外
阅读全文
摘要：在“参数化构建过程”中选择“List Subversion tags（and more）”,填写相应业务svn的url；这里在对应项目的svn(如下面的svn://192.168.9.120/fangfull_new)下特意创建了一个release目录，在该目录下建立易于区分的版本号目录（如rel_
阅读全文
摘要：https://jenkins.io/zh/doc/pipeline/tour/getting-started/ http://www.cnblogs.com/cheng95/p/6542036.html https://me.csdn.net/chenxyz707 https://blog.csd
阅读全文
摘要：2.1 svn与git对比 GIT既是版本控制系统，也是内容管理系统(CMS),工作管理系统等。 2.3.1 svn工作流程 svn svn 2.3.2 git工作流程 git-flow git-flow 2.3.3 快速理解svn与git的本质区别 从上图中可以看出，svn是集中式的，git是分布
阅读全文
摘要：4、Git常用操作命令 4.1 远程仓库相关命令 如果想把本地的某个分支test提交到远程仓库，并作为远程仓库的master分支，或者作为另外一个名叫test的分支，如下 : 4.2 分支(branch)操作相关命令 创建空的分支：(执行命令之前记得先提交你当前分支的修改，否则会被强制删干净没得后悔
阅读全文
摘要：3.2.1 新建项目 3.2.2 初始化项目（git init） 正如上图显示的，gitlab会给我们相应的命令供我们使用（需要安装客户端）。初始化一个项目可以是一个新建的空项目，也可以是一个已经存在的文件夹或者项目，当然也可以从其他（github，其他公司的gitlab）上导入。本文主要讲将已有的
阅读全文
摘要：https://jenkins.io/zh/doc/pipeline/tour/running-multiple-steps/ 安装插件 Git ,gitlab ,ssh,publish over ssh , Deploy to container, maven…按照需要安装 选择系统管理进入系统配
阅读全文
摘要：https://jenkins.io/zh/doc/book/pipeline/syntax/ https://blog.csdn.net/taishanduba/article/details/61423121 https://www.cnblogs.com/kevingrace/p/602244
阅读全文
摘要：正向代理 是为客户端服务的，客户端可以根据正向代理访问到它本身无法访问到的服务器资源。 正向代理 对客户端是透明的，对服务端是非透明的，即服务端并不知道自己收到的是来自代理的访问还是来自真实客户端的访问 反向代理 是为服务端服务的，反向代理可以帮助服务器接收来自客户端的请求，帮助服务器做请求转发，负
阅读全文
摘要：################################################################################################### 改编自：https://www.cnblogs.com/kevingrace/p/5919021.h
阅读全文
摘要：改编自：https://www.cnblogs.com/klb561/p/8660264.html OpenStackd包括计算（Nova），对象存储（Swift），镜像服务（Glance）的集合。 Openstack的详细构架图 网络拓扑结构图 整个OpenStack是由控制节点，计算节点，网络节
阅读全文
摘要：转自：https://www.cnblogs.com/jikexianfeng/p/6103500.html 一、dd命令的解释 dd：用指定大小的块拷贝一个文件，并在拷贝的同时进行指定的转换。 注意：指定数字的地方若以下列字符结尾，则乘以相应的数字：b=512；c=1；k=1024；w=2 参数注
阅读全文
摘要：改编自：https://blog.csdn.net/Yan_Chou/article/details/80456995 检测命令整理： 问题 宿主机cpu占用率非常高。 排查问题 这个问题在前一段时间也出现过,但最终两次产生的原因不同,上次出现此问题的原因是因为pv挂载的阿里云nfs,刚好宿主机上被
阅读全文
摘要：brctl show brctl delif ena eth1; 格式：brctl delif 桥接名 接口 ifconfig ena down; brctl delbr ena; 检查cpu虚拟化支持 依赖包功能介绍： 安装kvm： 5、配置bridge网络 附加说明：这里配置成桥接方式，实际上本
阅读全文
摘要：1、yaml格式的Pod配置文件内容及注解 深入Pod之前，首先我们来了解下Pod的yaml整体文件内容及功能注解。 如下： # yaml格式的pod定义文件完整内容： apiVersion: v1 #必选，版本号，例如v1 kind: Pod #必选，Pod metadata: #必选，元数据 n
阅读全文
摘要：参考：https://kubernetes.io/docs/tutorials/kubernetes-basics/ 更新应用程序 用户希望应用程序始终可用，开发人员每天需要部署几次新版本的应用程序。在Kubernetes中，这是通过滚动更新完成的。滚动更新允许部署的更新在零停机时间的情况下进行，方
阅读全文
摘要：参考：https://kubernetes.io/docs/tutorials/kubernetes-basics/ 步骤1：扩展部署 要列出部署，请使用GET部署命令：kubectl get deployments 我们应该有一个POD。如果没有，请再次运行该命令。这显示：所需的状态显示的是已配置
阅读全文
摘要：Kubectl 命令表 kubectl run kubectl expose kubectl annotate kubectl autoscale kubectl convert kubectl create kubectl create clusterrole kubectl create clu
阅读全文
摘要：pod丢失之后，怎样让程序正常工作。 service的概念和作用 标签 Pods 是有生命周期的。当一个工作节点死后，运行在该节点上的pods也会丢失。然后，通过创建新的pods来保持应用程序运行，ReplicaSet将会驱使集群回到正常状态。以保持应用程序的运行。 举个例子，假设有一个后端图像处理
阅读全文
摘要：k8s相关工具介绍： 我英语不行，得多学。您可以略过。 step2: 集群信息： 如果节点标记为NotReady，则它仍在启动组件。 step3: 部署容器 #查找分配的端口并执行HTTP请求。 Kubernetes Pods When you created a Deployment in Mod
阅读全文
摘要：https://blog.csdn.net/qq_22917163/article/details/84527420 1. 通过yaml文件安装dashboard 我们可以从https://github.com/kubernetes/dashboard/releases上边找到和自己安装的k8s相对
阅读全文
摘要：在Kubernetes中，所有对象都会被指定一个唯一的Name和UID。 用户还可以指定一些不要求唯一性的数据附加到对象上，例如Label和Annotation。 1. Name Name是创建一个Kubernetes对象时必须指定的，无论是Pod，ReplicaSet或者Deployment等等。
阅读全文
