06 2020 档案

个人微信公众号
摘要： 阅读全文
posted @ 2020-06-30 19:01 hyunbar 阅读(128) 评论(0) 推荐(0) 编辑
wordpress经验
摘要：1、wordpress修改后台站点地址后无法打开的2种解决办法 在不小心更改了wordpress后台站点地址后，发现登陆不了后台。很是头疼。网上遇到前辈使用的两种方式，由于当时的模板下没有找到function.php，就用了第二个方法，成功了！！ 第一种： 做测试不小心把后台WordPress 地址 阅读全文
posted @ 2020-06-30 18:55 hyunbar 阅读(172) 评论(0) 推荐(0) 编辑
Kafka压力测试（官方自带）
摘要：1、Kafka压测 用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。 一般都是网络IO达到瓶颈。 kafka-consumer-perf-test.sh kafka-producer-perf-test.sh 2、Kafka 阅读全文
posted @ 2020-06-27 13:46 hyunbar 阅读(1367) 评论(0) 推荐(0) 编辑
Shell-01
摘要：1、概述 大数据程序员为什么要学习Shell？ （1）需要看懂运维人员编写的shell程序 （2）偶尔会编写一些简单shell程序来管理集群、提高开发效率 Shell是 一个命令行解释器，它接收应用程序/用户命令，然后调用操作系统内核 Shell是一个功能强大的编程语言、易编写、易调试、灵活性强 2 阅读全文
posted @ 2020-06-24 18:14 hyunbar 阅读(143) 评论(0) 推荐(0) 编辑
数仓分层
摘要：1、概述 数据仓库中，常见的分层包括ods、dwd、dws、dwt、ads、dim等 2、传统上的数据分层 早期的大数据平台是以hadoop为核心，数据开发也是以MapReduce为主，hive等sql类开发很少见。 因为当数据从多个源头采集上来之后，格式化便成了原始数据。 原始数据经过MapRed 阅读全文
posted @ 2020-06-23 11:04 hyunbar 阅读(2374) 评论(0) 推荐(0) 编辑
Linux常用命令（三）
摘要：7、搜索查找类 7.1 find查找文件或目录 find指令将从指定目录下递归地遍历各个子目录，将满足条件的文件显示在终端 语法 find【path】【选项】 选项说明 可使用的选项有二三十个之多，在此只介绍最常用的部份 选项 功能 -name<查询方式> 按照指定的文件名查找模式查找文件 -use 阅读全文
posted @ 2020-06-19 18:01 hyunbar 阅读(203) 评论(0) 推荐(0) 编辑
Linux常用命令（二）
摘要：3、时间日期类 语法 date 【option】【+formart】 选项 选项 功能 -d<时间字符串> 显示指定的“时间字符串”表示的时间，而非当前时间 -s<日期时间> 设置系统日期时间 参数 参数 功能 <+日期时间格式> 指定显示时使用的日期时间格式 3.1 date 显示当前时间 语法 阅读全文
posted @ 2020-06-16 14:53 hyunbar 阅读(147) 评论(0) 推荐(0) 编辑
Kafka+Spark Streaming保证exactly once语义
摘要：在Kafka、Flink、Spark Streaming等分布式流处理系统中（Kafka本质上市流处理系统，不单是MQ），存在三种消息传递语义（Message Delivery Semantics）： At Least Once 每条消息会被收到1次或多次。例如发送方S在超时时间内没有收到接收方R的 阅读全文
posted @ 2020-06-15 18:24 hyunbar 阅读(827) 评论(0) 推荐(0) 编辑
JVM架构和GC命令总结
摘要：概述 JVM架构体系 垃圾回收 对象存活性判断 垃圾回收算法 垃圾回收器（回收算法的具体实现） 类装载 启动类加载器 扩展类加载器 应用程序类加载器 自定义类加载器 执行引擎 解释器 即时编译器 运行时数据区 堆heap 方法区 程序计数器 虚拟机栈 本地方法栈 垃圾回收器开启命令 Referenc 阅读全文
posted @ 2020-06-15 14:11 hyunbar 阅读(449) 评论(0) 推荐(0) 编辑
Linux常用命令（一）
摘要：1、帮助命令 1.1 man获得帮助信息 基本语法 man【命令或配置文件】 显示说明 信息 功能 NAME 命令的名称和单行描述 SYNOPSIS 怎样使用命令 DESCRIPTION 命令功能的深入讨论 EXAMPLES 怎样使用命令的例子 SEE ALSO 相关主题（通常是手册页） 案例 ma 阅读全文
posted @ 2020-06-10 17:42 hyunbar 阅读(128) 评论(0) 推荐(0) 编辑
VI&VIM编辑器
摘要：1、是什么 VI是Unix操作系统和类Unix操作系统中最通用的文本编辑器 VIM是从VI发展出来的一个性能更强大的文本编辑器。可以主动的以字体颜色辨别语法的正确性，方便程序设计。 VIM和VI完全兼容 2、一般模式 以vi打开一个文档就直接进入一般模式了。在这个模式中，你可以使用【上下左右】按键来 阅读全文
posted @ 2020-06-10 14:36 hyunbar 阅读(153) 评论(0) 推荐(0) 编辑
分类模型-K近邻（KNN）
摘要：1、KNN概述 最简单最初级的分类器，就是将全部的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性完全匹配时，便可以对其进行分类 K近邻（k-nearest neighbour,KNN）是一种基本分类方法，通过测量不同特征值之间的距离进行分类。 k近邻的四路是：如果一个样本在特征 阅读全文
posted @ 2020-06-09 14:42 hyunbar 阅读(886) 评论(0) 推荐(0) 编辑
CAP、BASE理论
摘要：1、NoSQL运动 自从上世纪80年代以降，关系型数据库（即传统的OLTP和OLAP数据库）一直都是后端业务系统的主导，能够满足很多需求。但是，随着数据量的激增、对查询响应要求提升、越来越多非结构化数据泛滥等原因，关系型数据库的领域面临挑战，因此催生了NoSQL（非关系型、not only SQL） 阅读全文
posted @ 2020-06-08 14:49 hyunbar 阅读(394) 评论(0) 推荐(0) 编辑
Zookeeper中Kafka相关信息的存储
摘要：zookeeper 是应用广泛的分布式服务协调组件，它对于大数据领域的其他组件，如HFDS、Yarn、Hbase、Kafka等，都扮演着基础角色 在kafka.utils.ZKUtils对象的开头，预先定义了很多ZK路径，如： object ZkUtils extends scala.AnyRef 阅读全文
posted @ 2020-06-08 10:40 hyunbar 阅读(729) 评论(0) 推荐(0) 编辑
Flink资源管理机制
摘要：一、基本概念 1.1 相关组件 Flink资源管理相关的组件： 一个Flink Cluster是由一个Flink Master 和多个Task Manager 组成的 Master和TaskManager 是进程级组件 其他的组件都是进程内的组件 如图： 一个flink master中有一个 Res 阅读全文
posted @ 2020-06-05 11:33 hyunbar 阅读(686) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示