2019年6月27日
Linux之字符串截取
摘要： 获取字符串的长度 在 Shell 中获取字符串长度很简单，具体方法如下： ${#string_name} string_name 表示字符串名字。 字符串截取 shell 截取字符串通常有两种方式：从指定位置开始截取和从指定字符（子字符串）开始截取 从指定位置开始截取 从字符串左边开始计数： 如果想 阅读全文
posted @ 2019-06-27 12:31 北漂-boy 阅读(3838) 评论(0) 推荐(0) 编辑
Linux 之数组
摘要： 数组 和其他编程语言一样，Shell 也支持数组。数组（Array）是若干数据的集合，其中的每一份数据都称为元素（Element）。Shell 并且没有限制数组的大小，理论上可以存放无限量的数据。和 C++、Java、C# 等类似，Shell 数组元素的下标也是从 0 开始计数。获取数组中的元素要使 阅读全文
posted @ 2019-06-27 10:40 北漂-boy 阅读(1047) 评论(0) 推荐(0) 编辑
2019年6月26日
部署Hadoop集群之前的一些系统配置
摘要： 修改内核参数 在/etc/sysctl.conf文件中添加如下配置（需要root权限）以下参数的默认值是在centos7下查看的fs.file-max = 6815744 //文件描述符总数，默认值：94121fs.aio-max-nr = 1048576 //最大并发io请求数，默认值：10485 阅读全文
posted @ 2019-06-26 23:24 北漂-boy 阅读(764) 评论(0) 推荐(0) 编辑
spark的一些基本概念和模型
摘要： Application application和Hadoop MapReduce类似，都是指用户编写的spark应用程序，其中包含了一个driver功能的代码和分布在集群中多个节点运行的executor代码。 Driver 使用driver这一概念的分布式框架很多，比如hive。spark中的dri 阅读全文
posted @ 2019-06-26 14:29 北漂-boy 阅读(790) 评论(0) 推荐(0) 编辑
2019年6月21日
hive（3）HiveQL数据定义
摘要： HiveQL与传统SQL区别 HiveQL是Hive的查询语言。与mysql的语言最接近，但还是存在于差异性，表现在：Hive不支持行级插入操作、更新操作和删除操作，不支持事物。 基本语法 数据库操作 # hadoop fs -ls /hive/warehouseFound 3 itemsdrwxr 阅读全文
posted @ 2019-06-21 11:37 北漂-boy 阅读(1094) 评论(0) 推荐(0) 编辑
2019年6月20日
hive（2）数据类型和文件格式
摘要： 基本的数据类型 Hive支持关系型数据中大多数基本的数据类型，同时也支持关系型数据库中很少出现的三种集合数据类型。 集合数据类型 Hive中的列支持使用struct、map、array集合数据类型，下表中的语法示例是调用的内置函数。 例如：创建表： 文本文件数据编码 下图表示Hive中默认的记录和字 阅读全文
posted @ 2019-06-20 16:00 北漂-boy 阅读(446) 评论(0) 推荐(0) 编辑
hive （1）Cli命令
摘要： 查看命令选项 选项解释： usage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B or --define A=B --database <databasename> 阅读全文
posted @ 2019-06-20 14:54 北漂-boy 阅读(2458) 评论(0) 推荐(1) 编辑
Hadoop优化 操作系统优化
摘要： 1、优化文件系统，修改/etc/fstab 在defaults后面添加noatime，表示不记录文件的访问时间。 修改为： 如果不想重新启动操作系统使配置生效，那么应该执行： # mount -o remount /dev/mapper/centos-root # mount -o remount 阅读全文
posted @ 2019-06-20 10:18 北漂-boy 阅读(780) 评论(0) 推荐(0) 编辑
2019年6月19日
hdfs-site.xml 基本配置参考
摘要： 配置参数： 1、dfs.nameservices 说明：为namenode集群定义一个services name 默认值：null 比如设置为：ns1 2、dfs.ha.namenodes.<dfs.nameservices> 说明：nameservice 包含哪些namenode，为各个namen 阅读全文
posted @ 2019-06-19 19:16 北漂-boy 阅读(17753) 评论(0) 推荐(0) 编辑
Hadoop 安装(本地、伪分布、分布式模式)
摘要： 本地模式 环境介绍 一共三台测试机 master 192.168.4.91 slave1 192.168.4.45 slave2 192.168.4.96 操作系统配置 1、Centos7操作系统 2、防火墙，selinux都关闭（在学习的时候，基本都是关闭防火墙，生产环境，防火墙都是打开的，不仅有 阅读全文
posted @ 2019-06-19 17:29 北漂-boy 阅读(914) 评论(0) 推荐(0) 编辑
Hadoop hadoop的介绍和几种模式
摘要： Hadoop简介 Hadoop软件库是一个开源框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储。库本身不是依靠硬件来提供高可用性，而是设计用于检测和处理应用程序层的故障，从而在计算机集群之上提供高可用性服务，每个计算机 阅读全文
posted @ 2019-06-19 15:06 北漂-boy 阅读(585) 评论(0) 推荐(0) 编辑
hive tez调优（3）
摘要： 根据。方案最右侧一栏是一个8G VM的分配方案，方案预留1-2G的内存给操作系统，分配4G给Yarn/MapReduce，当然也包括了HIVE，剩余的2-3G是在需要使用HBase时预留给HBase的。 内存调优 阅读全文
posted @ 2019-06-19 14:42 北漂-boy 阅读(13327) 评论(4) 推荐(1) 编辑
(转) hive调优（2）
摘要： <! done hive 调优（二）参数调优汇总 在hive调优（一） 中说了一些常见的调优，但是觉得参数涉及不多，补充如下 1.设置合理solt数 mapred.tasktracker.map.tasks.maximum 每个tasktracker可同时运行的最大map task数，默认值2。 m 阅读全文
posted @ 2019-06-19 12:36 北漂-boy 阅读(1795) 评论(0) 推荐(0) 编辑
（转）hive调优(1) coding调优
摘要： hive 调优（一）coding调优 本人认为hive是很好的工具，目前支持mr，tez，spark执行引擎，有些大公司原来封装的sparksql，开发py脚本，但是目前hive支持spark引擎（不是很稳定，建议Tez先），所以离线还是用hive比较好。 先将工作中总结，以及学习其他人的hive优 阅读全文
posted @ 2019-06-19 11:48 北漂-boy 阅读(295) 评论(0) 推荐(0) 编辑
hive on tez 错误记录
摘要： 1、执行过程失败，报 Container killed on request. Exit code is 143 如下图： 分析：造成这种原因是由于总内存不多，而容器在jvm中占比过高，修改tez-site.xml文件，添加如下配置： 2、ERROR [main] exec.TaskRunner: 阅读全文
posted @ 2019-06-19 10:32 北漂-boy 阅读(7908) 评论(1) 推荐(1) 编辑
2019年6月18日
tez 0.9.0 配置
摘要： 官网： https://tez.apache.org/releases/0.9.0/tez-api-javadocs/configs/TezConfiguration.html 阅读全文
posted @ 2019-06-18 17:47 北漂-boy 阅读(330) 评论(0) 推荐(0) 编辑
hive on tez
摘要： hive运行模式 hive on tez Tez是一个构建于YARN之上的支持复杂的DAG任务的数据处理框架。它由Hontonworks开源，它把mapreduce的过程拆分成若干个子过程，同时可以把多个mapreduce任务组合成一个较大的DAG任务，减少了mapreduce之间的文件存储，同时合 阅读全文
posted @ 2019-06-18 12:35 北漂-boy 阅读(11566) 评论(2) 推荐(1) 编辑
让博客园自动生成目录
摘要： 第一步：博客园里面点击设置。首先获取js权限。 要先获取js权限，并且管理员授权以后，才能正常使用。 第二步：在页脚代码里面插入如下代码： 借鉴：https://www.cnblogs.com/douzujun/p/10356169.html 阅读全文
posted @ 2019-06-18 09:26 北漂-boy 阅读(395) 评论(0) 推荐(0) 编辑
2019年6月17日
hive --metastore三种模式
摘要： 在官网上对于这几种模式的介绍如下： 按Metastore数据库位置分： 1、本地/嵌入式Metastore数据库（Derby） 2、远程Metastore数据库（其他的关系型数据库，像mysql、oracle等） 按Metastore server 分为如下： 1、本地嵌入式Metastore服务 阅读全文
posted @ 2019-06-17 17:38 北漂-boy 阅读(2444) 评论(0) 推荐(0) 编辑
hive 使用beelin连接报错
摘要： 1、在当前服务器启动hiveserver2服务，远程客户端通过beeline连接 报错信息如下： 其实这个问题是由于jdbc协议地址写错造成的，在hive2之后少了个“：” 改成以下这个形式即可： 2、用户不被允许 （1）修改core-site.xml文件，加入如下选项： 上述的proxyuser后 阅读全文
posted @ 2019-06-17 15:04 北漂-boy 阅读(2942) 评论(0) 推荐(0) 编辑
mysql my.cnf文件
摘要： 一、mysqld组值设置： 二、client组 三、其他设置 借鉴：https://www.cnblogs.com/EasonJim/p/7158466.html 阅读全文
posted @ 2019-06-17 12:42 北漂-boy 阅读(2773) 评论(0) 推荐(0) 编辑
2019年6月13日
1、Kfaka 部署
摘要： 一、使用Kfaka自带的zookeeper服务。 1、下载Kafka，下载地址： http://kafka.apache.org/downloads 2、区分Kfaka版本： Scala 2.12 - kafka_2.12-2.2.1.tgz（asc，sha512） Kadka后面的 2.12是对应 阅读全文
posted @ 2019-06-13 16:17 北漂-boy 阅读(732) 评论(0) 推荐(0) 编辑
（转）kafka 详解
摘要： <! done kafka入门：简介、使用场景、设计原理、主要配置及集群搭建（转） 问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存的？ 4.parti 阅读全文
posted @ 2019-06-13 10:53 北漂-boy 阅读(433) 评论(0) 推荐(0) 编辑
2019年6月11日
（转）hadoop 集群常用端口
摘要： 转载于：https://www.cnblogs.com/liying123/p/7097806.html hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集 阅读全文
posted @ 2019-06-11 09:26 北漂-boy 阅读(531) 评论(0) 推荐(0) 编辑
2019年6月10日
journalnode Can't scan a pre-transactional edit log 异常处理
摘要： 由于数据磁盘爆满，达到100%，导致journalnode宕掉，在启动journalnode以后，查看日志，提示Can't scan a pre-transactional edit log，这个时候namenode已经是不能正常启动了。 java.io.IOException: Can't sca 阅读全文
posted @ 2019-06-10 10:52 北漂-boy 阅读(1737) 评论(0) 推荐(0) 编辑
2019年6月5日
ansible 问题记录（2）
摘要： 普通用户执行ansible，但是在远程需要root权限，这个时候执行ansible命令报如下错误： 经分析是由于sudo的时候，普通用户没有在sudoer文件 2、在playbook里面使用sudo认证 比如，sudo 到root - name: start standby rm shell: "l 阅读全文
posted @ 2019-06-05 17:12 北漂-boy 阅读(333) 评论(0) 推荐(0) 编辑
ansible 错误记录（1）
摘要： 基本环境：docker基于centos7 在docker里面安装ansible 不管是在root还是普通用户下执行 ansible all -m ping 都报如下错误： 172.20.1.1 | UNREACHABLE! => { "changed": false, "msg": "Failed 阅读全文
posted @ 2019-06-05 16:07 北漂-boy 阅读(1147) 评论(0) 推荐(0) 编辑
2019年6月4日
ansible 交互提示、tags和block
摘要： 1、交互提示：使用关键字：vars_prompt 例：使用ansible的交互式功能创建用户和给定一个密码。 关键字vars_prompt常用选项说明： private：用户输入的值是否可见，当值为yes时，表示不可见，常用于密码，为no时，可见。 default：设置默认值，当不输入任何值时，使用 阅读全文
posted @ 2019-06-04 10:40 北漂-boy 阅读(3355) 评论(0) 推荐(1) 编辑
ansible 任务流程控制
摘要： 一、任务委托 默认情况下，ansible的所有任务都是在指定的机器上运行的，当在一个独立的群集环境中配置时，但是只想操作其中的某一台主机，或者在特定的主机上运行，此时就需要用到ansible的任务委托功能。 使用delegate_to关键字可以配置任务在指定的机器上执行，二其他的任务还是在hosts 阅读全文
posted @ 2019-06-04 09:53 北漂-boy 阅读(997) 评论(0) 推荐(0) 编辑
2019年6月3日
ansible 变量
摘要： ansible的变量定义可以在很多地方定义，如下： 1、命令行设置变量 命令行直接使用变量，在运行playboox的时候，使用--extra-vars或者-e选项指定额外的变量 也可以将变量写入到一个JSON或者yaml文件中，命令行通过导入文件来获取变量。 2、playboox中定义变量 （1）使 阅读全文
posted @ 2019-06-03 18:19 北漂-boy 阅读(765) 评论(0) 推荐(0) 编辑
ansible handlers
摘要： 示例：安装nginx 注：在剧本编写完以后，可以使用--syntax-check检查剧本的语法是否有问题，使用--check或者-C来预执行剧本。 handlers的用处：一般是当修改某个配置文件的时候，通过handlers来执行某个任务。 一般情况下，handlers的执行需要在所以的tasks执 阅读全文
posted @ 2019-06-03 16:39 北漂-boy 阅读(645) 评论(0) 推荐(0) 编辑
ansible user模块
摘要： 查看模块的功能和选项，使用ansible-doc命令 user模块 options： 示例： 场景1、新增用户。 需求描述：新增用户dba，使用BASH Shell，附加组为admins，dbagroup，家目录为/home/dba，注意：附加组必须为已经存在的组。 掌握技能点： （1）groups 阅读全文
posted @ 2019-06-03 14:48 北漂-boy 阅读(5227) 评论(0) 推荐(0) 编辑
Ansible 模式
摘要： 一、Ansible 命令 1、Ansible 命令执行的方式有两种：Ad-Hoc、Ansible-playbooks,这两种方式没有本质的区别，Ad-Hoc用于临时执行命令；Ansible-playbooks可以理解为Ad-Hoc的集合，通过一定的规则编排在一起，也就是剧本。 2、Ansible通讯 阅读全文
posted @ 2019-06-03 11:13 北漂-boy 阅读(4497) 评论(0) 推荐(0) 编辑
ansible 主机正则
摘要： ansible <pattern> -m <module_name> -a <arguments> 该功能主要针对Inventory的主机列表，案例如下： 1、ALL（全量匹配） 说明：匹配所有主机，all或者*号，两个功能相同，只是*号需要使用双引号引起来。 2、逻辑或（or）匹配 如希望对多个主 阅读全文
posted @ 2019-06-03 11:12 北漂-boy 阅读(1727) 评论(0) 推荐(0) 编辑
2019年5月31日
(转)awk 详解
摘要： 出处：https://blog.51cto.com/yijiu/1358416 awk详解awk是一款非常牛逼的报告生成工具，能够将文本格式化成显示为比较直观的结果废话不多说，直接上例子awk的内置变量FS: field separator，读取文件本时，所使用字段分隔符；RS: Record se 阅读全文
posted @ 2019-05-31 14:47 北漂-boy 阅读(584) 评论(0) 推荐(0) 编辑
iptables 详解
摘要： 出处：http://yijiu.blog.51cto.com/433846/1356254 iptables详解 基本概念： 1.防火墙工作在主机边缘:对于进出本网络或者本主机的数据报文，根据事先设定好的检查规则对其检查，对形迹可疑的报文一律按照事先定义好的处理机制做出相应处理 对linux而言tc 阅读全文
posted @ 2019-05-31 14:16 北漂-boy 阅读(3623) 评论(0) 推荐(0) 编辑
2019年5月22日
（转）服务端监控工具：nmon的使用
摘要： 在性能测试过程中，对服务端的各项资源使用情况进行监控是很重要的一环。这篇博客，介绍下服务端监控工具：nmon的使用方法。。   一、认识nmon 1、简介 nmon是一种在AIX与各种Linux操作系统上广泛使用的监控与分析工具，它能在系统运行过程中实时地捕捉系统资源的使用情况，记录的信息 阅读全文
posted @ 2019-05-22 15:12 北漂-boy 阅读(320) 评论(0) 推荐(0) 编辑
zabbix（12）使用Grafana
摘要： 一、Grafana介绍 Grafana是一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通知。它主要有以下六大特点： 1、展示方式：快速灵活的客户端图表，面板插件有许多不同方式的可视化指标和日志，官方库中具有丰富的仪表盘插件，比如热图、折线图、图表等多种展示方 阅读全文
posted @ 2019-05-22 14:34 北漂-boy 阅读(2702) 评论(0) 推荐(0) 编辑
2019年5月20日
zabbix (11) 监控TCP连接数
摘要： 对TCP的监控可以采用ss、netstat、/proc/net/tcp这三个不同的方案来实现。其中ss是最快的 （1）ss命令 （2）netstat命令 （3）读取/proc/net/tcp 文件，其中第四列为TCP连接的各个状态，如： 第四列各个状态的意思如下： 00 "ERROR_STATYS" 阅读全文
posted @ 2019-05-20 10:52 北漂-boy 阅读(725) 评论(0) 推荐(0) 编辑
2019年5月17日
zabbix（10）自动发现规则(low level discovery)
摘要： 1、概念 在配置Iterms的过程中，有时候需要对类似的Iterms进行添加，这些Iterms具有共同的特征，表现为某些特定的参数是变量，而其他设置都是一样的，例如：一个程序有多个端口，而需要对端口配置Iterms。再如，磁盘分区，网卡的名称等等，由于具有不确定性，古配置固定的Items会出现无法通 阅读全文
posted @ 2019-05-17 19:47 北漂-boy 阅读(1233) 评论(0) 推荐(0) 编辑