fengjian1585 - 博客园

2019年4月

摘要： ceph 寻址过程 1. file object映射，把file分割成N个相同的对象 2. object - PG 映射，利用静态hash得到objectID的伪随机值，在 "位与" mask 上使得object获取属于自己的PG 3. pg -- osd 映射，将pg映射到实际的存储单元os 阅读全文

posted @ 2019-04-09 12:18 fengjian1585 阅读(6497) 评论(0) 推荐(0) 编辑

ceph部署实践（mimic版本）

摘要：一、准备环境 4台adminos7.4 环境，存储节点上两块磁盘（sda操作系统，sdb数据盘） clientadmin storage1storage2storage3二、配置环境 1、修改主机名（对应节点上执行） # hostnamectl set-hostname client# hostna 阅读全文

posted @ 2019-04-04 18:02 fengjian1585 阅读(1595) 评论(0) 推荐(0) 编辑

2019年3月

kubernetes statefulset kafka 部署后，外部访问超时问题解决

摘要： k8s 内部的kafka要映射到外网，直接把 kafka 通过 expose 把pod 映射成服务，使用nodeport 连接，出现超时问题，解决思路： 1. 查看zk中，kafka的注册信息，PLAINTEXT://kafka-0.kafka-hs.sy-platform-demo.svc.cl 阅读全文

posted @ 2019-03-29 10:18 fengjian1585 阅读(2254) 评论(0) 推荐(0) 编辑

块存储性能

摘要：性能指标衡量块存储产品的性能指标主要包括：IOPS、吞吐量和访问时延。 IOPS IOPS是Input/Output Operations per Second，即每秒能处理的I/O个数，用于表示块存储处理读写（输出/输入）的能力。如果要部署事务密集型应用，典型场景比如数据库类业务应用，需要关注I 阅读全文

posted @ 2019-03-27 10:01 fengjian1585 阅读(788) 评论(0) 推荐(0) 编辑

kafka libjvm 报错

摘要： kafka集群 kafka-0 出现报错信息通过 zk查询状态 kafka-0 没有了，删除 kafka-0 pod， ## 打算更换jdk版本，测试一下效果阅读全文

posted @ 2019-03-26 11:19 fengjian1585 阅读(306) 评论(0) 推荐(0) 编辑

k8s监控api调用

摘要： k8s监控api调用阅读全文

posted @ 2019-03-21 17:35 fengjian1585 阅读(613) 评论(0) 推荐(0) 编辑

解决普通用户登录ulimit 报错问题

摘要： [root@master1 ~]# su - fengjian -bash: ulimit: open files: cannot modify limit: Operation not permitted-bash: ulimit: file size: cannot modify limit: 阅读全文

posted @ 2019-03-18 15:39 fengjian1585 阅读(4141) 评论(0) 推荐(0) 编辑

mysql 创建 mb4 字符集数据库

摘要： create database sina default character set utf8mb4 collate utf8mb4_unicode_ci;show variables like '%char%' 建库以后，不生效，还需要修改配置文件，重启数据库。还需要修改my.cnf文件阅读全文

posted @ 2019-03-15 10:10 fengjian1585 阅读(1584) 评论(0) 推荐(0) 编辑

ceph 集群故障恢复

摘要：集群规划配置master1 172.16.230.21master2 172.16.230.22master3 172.16.230.23node1 172.16.230.26node2 172.16.230.27node3 172.16.23028 一、模拟monitor 宕机状态2. 测试删除阅读全文

posted @ 2019-03-12 11:53 fengjian1585 阅读(633) 评论(0) 推荐(0) 编辑

普通用户使用docker命令

摘要：由于docker 都是root权限启动的容器，要给研发登录权限查看log，对于普通用，使用docker是会出现报错，使用 gpasswd 命令把用户加入到docker组中阅读全文

posted @ 2019-03-08 10:18 fengjian1585 阅读(262) 评论(0) 推荐(0) 编辑

git使用方法

摘要：一：Git是什么？ Git是目前世界上最先进的分布式版本控制系统。二：SVN与Git的最主要的区别？ SVN是集中式版本控制系统，版本库是集中放在中央服务器的，而干活的时候，用的都是自己的电脑，所以首先要从中央服务器哪里得到最新的版本，然后干活，干完后，需要把自己做完的活推送到中央服务器。集中式版阅读全文

posted @ 2019-03-03 18:05 fengjian1585 阅读(145) 评论(0) 推荐(0) 编辑

2019年2月

ceph 问题处理

摘要： 1、三个ceph monitor节点clock skew时钟偏移问题？解决：（1）其他控制节点更改ntp.conf与controller01进行同步，如果ntpd不生效，使用date -s "10:24:25"命令强制更改。（2）[root@node-3 ~]# ceph health detail 阅读全文

posted @ 2019-02-28 15:03 fengjian1585 阅读(851) 评论(0) 推荐(0) 编辑

nethogs 查看linux进程实时网络带宽利用率

摘要：用命令iftop来检查带宽使用情况. netstat用来查看接口统计报告,还有top监控系统当前运行进程，如果要查看进程的带宽使用情况，可以使用nethogs 1. 安装 2. nethogs 用法 3. nethogs 命令行参数 -d 参数增加刷新频率参数 ·device name· 用来检测阅读全文

posted @ 2019-02-26 13:48 fengjian1585 阅读(323) 评论(0) 推荐(0) 编辑

kubelet 初始化过程

摘要： kubelet 初始化过程 kube-controller-manager : 当apiserver从kubelet接收证书请求并验证这些请求时，控制器管理器负责发出实际签名的证书。控制器管理器通过证书发布控制循环执行此功能。这采用使用磁盘资产的cfssl本地签名者的形式。目前，所有颁发的证书都阅读全文

posted @ 2019-02-15 17:08 fengjian1585 阅读(248) 评论(0) 推荐(0) 编辑

df 与 du 已使用空间不一致的原因及解决办法

摘要：通过 df -Th 查看 /var 目录使用了78%，当登录到/var 目录，du -sh 实际使用112G 分析原因：应该是被删掉的文件没被真正释放解决办法： 1、lsof | grep deleted > deletedfile 查看有哪些未被释放的文件 2、排序看最大的未被释放的文件大小阅读全文

posted @ 2019-02-14 16:03 fengjian1585 阅读(259) 评论(0) 推荐(0) 编辑

2019年1月

通过set-context 控制namespace 进行隔离

摘要： kubernetes RBAC 需要了解 rules roles subjects rolebindings(role绑定)rules 是一组操作 verbs 、资源、 api组。如果只允许创建对象并检索他们的信息，那么可是使用 verbs 的 get list create，一个verbs 阅读全文

posted @ 2019-01-28 17:56 fengjian1585 阅读(657) 评论(0) 推荐(0) 编辑

dirty_background_ration 与 /proc/sys/vm/dirty_ratio

摘要： wappiness的值的大小对如何使用swap分区是有着很大的联系的。swappiness=0的时候表示最大限度使用物理内存，然后才是 swap空间，swappiness＝100的时候表示积极的使用swap分区，并且把内存上的数据及时的搬运到swap空间里面。linux的基本默认设置为60，具体如下阅读全文

posted @ 2019-01-28 14:57 fengjian1585 阅读(1485) 评论(0) 推荐(1) 编辑

kafka TimeoutException 超时问题解决

摘要： 1、报错：: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that 阅读全文

posted @ 2019-01-28 09:37 fengjian1585 阅读(9221) 评论(0) 推荐(0) 编辑

gitlab 使用流程

摘要： gitlab 使用流程 1. 开发人员写代码，开发产品。 2. 测试人员进行测试，如果发现bug，填写 Issues - List - new issus 3. 开发人员修复bug，从master 克隆代码，本地仓库建立分支，修改bug后，推送到gitlab分支。 4. 开发人员登录gitlab 阅读全文

posted @ 2019-01-24 13:17 fengjian1585 阅读(260) 评论(0) 推荐(0) 编辑

gitlab 数据同步

摘要：为了统一化管理，需要把老版本的 gitlab 仓库同步到新的gitlab上。 1. 新建组，新gitlab 建立的group 与原gitlab相同。2. 新建project 3. 选择导入阅读全文

posted @ 2019-01-23 14:46 fengjian1585 阅读(840) 评论(0) 推荐(0) 编辑

gitlab11.5.4 配置邮件提醒

摘要： gitlab 配置邮件提醒阅读全文

posted @ 2019-01-14 15:53 fengjian1585 阅读(246) 评论(0) 推荐(0) 编辑

docker 安装 mongodb

摘要：安装 mongodb 不要使用mongodb 4.16版本 MONGO_INITDB_ROOT_USERNAME, MONGO_INITDB_ROOT_PASSWORD 创建一个新用户并设置该用户的密码。此用户在admin身份验证数据库中创建并具有角色root 如果不加设置用户密码参数，但是指定阅读全文

posted @ 2019-01-11 17:23 fengjian1585 阅读(500) 评论(0) 推荐(0) 编辑

2018年12月

dd测试

摘要： time dd if=/dev/zero of=/root/test.db2 bs=200K count=10000 oflag=dsync 阅读全文

posted @ 2018-12-26 18:17 fengjian1585 阅读(163) 评论(0) 推荐(0) 编辑

k8s部署rocketmq 双主

摘要：由于apache 官网的 docker image 是单点，要实现集群方式部署。 rocketmq 分为 nameserver 和 broker ，对于之间调用频繁的服务，会增加网络压力，所以考虑又网络通信变成进程间通信，那么1个pod 中包含两个container。关于rocketm 阅读全文

posted @ 2018-12-26 11:24 fengjian1585 阅读(5698) 评论(0) 推荐(0) 编辑

rocketmq 多master集群部署

摘要： rocketmq 并且编译下载 wget http://mirror.bit.edu.cn/apache/rocketmq/4.3.2/rocketmq-all-4.3.2-source-release.zip unzip rocketmq-all-4.3.2-source-release.zip 阅读全文

posted @ 2018-12-20 16:56 fengjian1585 阅读(1800) 评论(0) 推荐(0) 编辑

Kubernetes中的Taint污点和Toleration容忍

摘要： Taint（污点）和 Toleration（容忍）可以作用于 node 和 pod 阅读全文

posted @ 2018-12-14 14:55 fengjian1585 阅读(802) 评论(0) 推荐(0) 编辑

RocketMQ集群部署记录

摘要： RocketMQ集群部署记录 #引用 https://cloud.tencent.com/developer/article/1147765 一、RocketMQ基础知识介绍 Apache RocketMQ是阿里开源的一款高性能、高吞吐量、队列模型的消息中间件的分布式消息中间件。RocketMQ具有阅读全文

posted @ 2018-12-07 16:03 fengjian1585 阅读(422) 评论(0) 推荐(0) 编辑

使用k8s cronjob ,清除应用生成的日志文件

摘要：目前应用日志，tomcat日志统一输出到 /data/logs/pod名字/ 目录下，并且/data/logs 目录挂载到cephfs上， tomcat 日志使用 cronolog进行日志切割使用 cronjob 创建一个pod，在每天2点开始清除日志。 successfulJobsHisto 阅读全文

posted @ 2018-12-03 17:03 fengjian1585 阅读(2466) 评论(0) 推荐(0) 编辑

使用HostAliases 添加pod 的/etc/hosts

摘要：默认的pod 的/etc/hosts 无法自动数据通过使用 k8s HostAliases ,可以想 pod /etc/hosts 注入主机名对应关系阅读全文

posted @ 2018-12-03 14:41 fengjian1585 阅读(791) 评论(0) 推荐(0) 编辑

2018年11月

docker in docker 出现 libltdl.so.7 问题

摘要： # docker ps -adocker: error while loading shared libraries: libltdl.so.7: cannot open shared object file: No such file or directory 官方的jenkins镜像是基于Deb 阅读全文

posted @ 2018-11-16 18:08 fengjian1585 阅读(7738) 评论(0) 推荐(0) 编辑

容器中JVM获取真实的CPU核数

摘要：容器中JVM获取真实的CPU核数基于 libsysconfcpus的方案，可以为各个版本的JDK提供一个通用的解决方案。 libsysconfcpus.so的原理是截获JVM获取CPU核数所用的系统调用sysconf(_SC_NPROCESSORS_CONF)，改为读取环境变量LIBSYSCONF 阅读全文

posted @ 2018-11-06 16:40 fengjian1585 阅读(2035) 评论(0) 推荐(0) 编辑

2018年10月

kafka监控kafka-eagle 容器化配置

摘要：由于kafka、zk 集群已经部署在k8s中， kafka的服务名 kafka-hs， zk的服务名为：zk-cs ，对kafka进行监控，所以需要把监控部署到k8s中，选择使用kafka-eagle. 下载地址： http://download.smartloli.org/ kafka-eagle 阅读全文

posted @ 2018-10-31 15:39 fengjian1585 阅读(1522) 评论(0) 推荐(0) 编辑

k8s mysql 单点部署

摘要：参考官网：https://kubernetes.io/docs/tasks/run-application/run-replicated-stateful-application/20-nproc.conf limits.conf senyint.conf Dockerfile docker bui 阅读全文

posted @ 2018-10-25 18:06 fengjian1585 阅读(956) 评论(0) 推荐(0) 编辑

单节点etcd配置

摘要： $ cat /etc/etcd/etcd.conf ETCD_DATA_DIR="/var/lib/etcd/default.etcd" #监听URL，用于与其他节点通讯 ETCD_LISTEN_PEER_URLS="https://10.207.33.148:2380" #告知客户端的URL, 也就是服务的URL ETCD_LISTEN_CLIENT_URLS="https://10.2... 阅读全文

posted @ 2018-10-19 16:32 fengjian1585 阅读(729) 评论(0) 推荐(0) 编辑

gcr.mirrors.ustc.edu.cn

摘要： gcr.mirrors.ustc.edu.cn 阅读全文

posted @ 2018-10-10 16:46 fengjian1585 阅读(306) 评论(0) 推荐(0) 编辑

mysql5.7安装

摘要： mysql5.7 安装 [root@VM_0_13_centos data]# rpm -qa | grep mariadb mariadb-libs-5.5.60-1.el7_5.x86_64 4. 卸载mariadb相关 [root@VM_0_13_centos data]# yum remov 阅读全文

posted @ 2018-10-09 16:27 fengjian1585 阅读(1222) 评论(0) 推荐(0) 编辑

Ceph的BlueStore总体介绍

摘要：整体架构 bluestore的诞生是为了解决filestore自身维护一套journal并同时还需要基于系统文件系统的写放大问题，并且filestore本身没有对SSD进行优化，因此bluestore相比于filestore主要做了两方面的核心工作：去掉journal，直接管理裸设备针对SSD进阅读全文

posted @ 2018-10-06 16:36 fengjian1585 阅读(2046) 评论(0) 推荐(0) 编辑

2018年9月

解决 docker ulimit open file 过少的问题

摘要：解决方法：阅读全文

posted @ 2018-09-30 15:21 fengjian1585 阅读(1440) 评论(0) 推荐(0) 编辑

Java程序在Linux上运行虚拟内存耗用很大

摘要：突然集群的2个节点挂了，通过top查看，虚拟内存22G，通过 pmap -x 8 | grep anon 一大堆64M Linux下glibc的内存管理机制用了一个很奇妙的东西，叫arena。在glibc分配内存的时候，大内存从从中央分配区分配，小内存则在线程创建时，从缓存区分配。为了解决分配内阅读全文

posted @ 2018-09-30 10:25 fengjian1585 阅读(2316) 评论(0) 推荐(0) 编辑

tomcat8_java1.8 基础镜像

摘要：需要解决的越来越多，基础镜像中添加 cronolog功能，用于切割catalina.out 日志。思路是： cephfs 挂载在node节点， crontab 删除几天的tomcaat 日志。也想把crontab放在基础镜像中，出现服务无法启动镜像 1G，太大了。阅读全文

posted @ 2018-09-27 15:31 fengjian1585 阅读(405) 评论(0) 推荐(0) 编辑

公告