上一页 1 2 3 4 5 6 ··· 12 下一页
2021年1月4日
2020年年终总结
摘要： 时间过的好快，充实的一年又过去了。回顾今年经历的事情，出现了危机同样也是新的机会，让我有了更多对自己人生的思考与选择。 工作方面 上半年在公司负责基于大数据的新版用户行为分析系统设计与开发工作，从系统架构设计、大数据服务器集群的搭建、数据对接与存储、数据清洗、实时流计算、服务调度设计与开发和服务器调 阅读全文
posted @ 2021-01-04 20:16 AllEmpty 阅读(997) 评论(6) 推荐(7) 编辑
2020年7月7日
记录HBase手动删除Hadoop备份（archive）文件后，引发Hbase写入数据出错等一系列问题处理
摘要： 由于需要规范HBase数据表命名，对测试环境的数据进行了重命名操作。 停掉所有服务后执行下面改名操作 # 禁用活跃用户表 disable 'DC_XXL:ACTIVE_USERS' # 创建快照 snapshot 'DC_XXL:ACTIVE_USERS', 'tony_snapshot' # 克隆 阅读全文
posted @ 2020-07-07 15:05 AllEmpty 阅读(2058) 评论(0) 推荐(0) 编辑
2020年6月9日
Kubernetes学习与应用（08）——Kubernetes常用命令
摘要： 1. 检查Kubernetes服务运行状态 kubectl get cs 2. Node管理 Node查看 查看所有node kubectl get nodes 节点状态 NAME STATUS ROLES AGE VERSION master Ready master 46h v1.17.0 sl 阅读全文
posted @ 2020-06-09 10:20 AllEmpty 阅读(469) 评论(0) 推荐(0) 编辑
Kubernetes学习与应用（07）——安装Dashboard监控插件
摘要： 1. Dashboard概述 Dashboard是基于Web的Kubernetes用户界面，我们可以通过Dashboard直接管理集群资源，运行、创建或修改集群中的资源，监控容器中的资源状态和发生的错误信息。还可以使用部署向导来扩展部署，启动滚动更新，重新启动Pod或部署新应用程序。 2. 安装Da 阅读全文
posted @ 2020-06-09 10:02 AllEmpty 阅读(1454) 评论(0) 推荐(0) 编辑
Kubernetes学习与应用（06）——安装Node节点
摘要： 1. 安装Kubernetes # 设置网络参数 cat > /etc/sysctl.d/k8s.conf <<EOF net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_forward = 1 net.bridge.bridge-nf-call-i 阅读全文
posted @ 2020-06-09 09:55 AllEmpty 阅读(340) 评论(0) 推荐(0) 编辑
Kubernetes学习与应用（05）——安装Kubernetes
摘要： 1. 安装CRI-O 容器运行时接口Container Runtime Interface（CRI）：这是一个插件接口，它让 kubelet（用于创建 pod 和启动容器的集群节点代理）有使用不同的兼容 OCI 的容器运行时的能力，而不需要重新编译 Kubernetes。在这项工作的基础上，CRI- 阅读全文
posted @ 2020-06-09 09:50 AllEmpty 阅读(561) 评论(0) 推荐(0) 编辑
Kubernetes学习与应用（04）——安装Docker
摘要： 1. 安装Docker 安装必要的工具包 yum install -y yum-utils device-mapper-persistent-data lvm2 升级yum yum update --skip-broken 添加yum的docker源 yum-config-manager --add 阅读全文
posted @ 2020-06-09 09:40 AllEmpty 阅读(337) 评论(0) 推荐(0) 编辑
Kubernetes学习与应用（03）——Kubernetes技术栈
摘要： 云原生技术栈 云原生技术栈说明查看：https://github.com/wh211212/awesome-cloudnative-cn Kubernetes技术关系图 应用Kubernetes应掌握的技术栈 阅读全文
posted @ 2020-06-09 09:36 AllEmpty 阅读(428) 评论(0) 推荐(0) 编辑
Kubernetes学习与应用（02）——Kubernetes架构与核心概念
摘要： Kubernetes架构 Kubernetes主要核心构件： etcd：协同存储，负责保存整个集群的状态，通常会部署奇数个节点以保证高可用性。 API：提供了资源操作的唯一入口，并提供认证、授权、访问控制、API注册和发现等机制。 controller manager：负责维护集群的状态，执行故障检 阅读全文
posted @ 2020-06-09 09:28 AllEmpty 阅读(340) 评论(0) 推荐(0) 编辑
Kubernetes学习与应用（01）——什么是Kubernetes
摘要： 1. Kubernetes是什么 Kubernetes中文版资料 Kubernetes是容器集群管理系统，是一个开源的平台，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。 通过Kubernetes我们可以： 快速部署应用 快速扩展应用 无缝对接新的应用功能 *　节省资源，优化硬件资源的使用 阅读全文
posted @ 2020-06-09 09:22 AllEmpty 阅读(477) 评论(0) 推荐(0) 编辑
2020年3月31日
安装psycopg2出错问题处理记录
摘要： 使用postgresql数据库一直都是在服务器同一台机子上，所以一向都正常，今天在其他服务器上调用，执行pip3 install psycopg2后直接暴下面错误： [root@slave2 ~]# pip3 install -i https://pypi.tuna.tsinghua.edu.cn/ 阅读全文
posted @ 2020-03-31 16:53 AllEmpty 阅读(2752) 评论(0) 推荐(0) 编辑
2020年3月18日
spark streaming连接kafka引发"partition.assignment.strategy"异常处理
摘要： 服务器运行环境：spark 2.4.4 + scall 2.11.12 + kafka 2.2.2 由于业务相对简单，kafka只有固定topics，所以一直使用下面脚本执行实时流计算 spark-submit --packages org.apache.spark:spark-streaming- 阅读全文
posted @ 2020-03-18 10:58 AllEmpty 阅读(2483) 评论(0) 推荐(0) 编辑
2020年3月10日
机器学习（07）——岭回归算法实战
摘要： 1. 回归算法概念 回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析、时间序列模型以及发现变量之间的因果关系。 回归算法通过对特征数据的计算，从数据中寻找规律，找出数据与规律之间的因果关系，并根据其关系预测后续发展变化的规律以及结果。 常 阅读全文
posted @ 2020-03-10 11:38 AllEmpty 阅读(2571) 评论(0) 推荐(0) 编辑
机器学习（06）——K近邻算法实战
摘要： 学习机器学习算法，最难的不是算法及公式推导的学习，因为这些很多都是成熟的现成的，有代码例子可以直接使用。最难的是将算法应用到实际的项目当中。 1. 算法概念 K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：在 阅读全文
posted @ 2020-03-10 11:26 AllEmpty 阅读(533) 评论(0) 推荐(0) 编辑
2020年2月21日
2019年年终总结
摘要： 这是一份迟到的年终总结，19年底与20年1月份，每天都处于异常忙碌的状态，为了能在新公司呆下来，997+早晚的学习，除了睡觉几乎没有任何空闲时间。而过年假期则在家陪着我那可爱的娃，没有心思用来写年终总结。不过迟到好过没到，没有回顾哪来进步，没有计划与目标，也就没有动力驱动着自己去努力。 2019年的 阅读全文
posted @ 2020-02-21 22:05 AllEmpty 阅读(421) 评论(1) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 12 下一页