彬在俊

2021年3月25日

摘要：测试环境组件版本操作系统 centos7.4 docker CE18.1 需求需要将容器的ip设置为固定ip docker的网络类型 docker默认的有三种网络类型，bridge、host和none，可通过如下命令查看 sudo docker network ls bridge:网络桥接阅读全文

posted @ 2021-03-25 18:58 彬在俊阅读(441) 评论(0) 推荐(0) 编辑

HUE+kerberos启动报错Couldn‘t renew kerberos ticket

摘要：环境信息组件版本操作系统 centos6.9 CDH 5.13 kerberos 是问题现象 HUE+kerberos启动报错Couldn't renew kerberos ticket解决方案，kt_renewer ERROR Couldn‘t renew kerberos ticket 阅读全文

posted @ 2021-03-25 18:57 彬在俊阅读(300) 评论(0) 推荐(0) 编辑

CDH添加 NFS Gateway 角色实例启动失败问题

摘要：环境信息：测试环境版本操作系统 centos6.9 CDH 5.13 问题描述：往集群中的主机添加角色时，发现HDFS 存在警告信息，其余角色正常。通过查看日志信息，发现 NFS Gateway 这一块出错，错误日志：错误日志，具体异常如下： using as SECURE_USER u 阅读全文

posted @ 2021-03-25 18:55 彬在俊阅读(194) 评论(0) 推荐(0) 编辑

2021年3月13日

转载-Zookeeper客户端Curator使用详解

摘要：转自：http://www.throwable.club/2018/12/16/zookeeper-curator-usage/ Zookeeper客户端Curator使用详解前提因为最近项目需要使用Zookeeper这个中间件，提前了解一下它的客户端Curator的使用。简介 Curator 阅读全文

posted @ 2021-03-13 21:47 彬在俊阅读(251) 评论(0) 推荐(0) 编辑

linux中文件描述符

摘要：前言在linux系统中，所有东西都可以看成是文件，文件又可以分为普通文件，目录文件，链接文件和设备文件。文件描述符是内核为了高效管理已被打开的文件所创建的索引，是一个非负整数用于指代被打开的文件，所有执行I/O操作的系统调用都是通过文件描述符。程序刚刚启动的时候，0是标准输入，1是标准输出，2是阅读全文

posted @ 2021-03-13 18:44 彬在俊阅读(354) 评论(0) 推荐(0) 编辑

2021年3月1日

Kafka面试题

摘要： 1.Kafka的用途有哪些？使用场景如何？消息队列。都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能存储系统。Kafka 把消息持久化到磁盘，相比于其他基于内存存储的系统而言，有效地降低了数据丢失的风险。流式处理平台。Kafka 不仅为每个流行的流式处理框架提供了可靠阅读全文

posted @ 2021-03-01 19:42 彬在俊阅读(1012) 评论(0) 推荐(1) 编辑

2021年2月22日

工作中用到的一些kafka命令

摘要：一、启动 1. kafka的启动 kafka-server-start.sh -daemon ../config/server.properties 2. kafka的停止 kafka-server-stop.sh 或者 kill -15 <kafka_pid> 二、实战 1. 创建一个topic 阅读全文

posted @ 2021-02-22 19:22 彬在俊阅读(82) 评论(0) 推荐(0) 编辑

2021年2月8日

Linux下source命令详解(转载)

摘要：作者：水车出处：https://www.cnblogs.com/shuiche/p/9436126.html source命令用法 source FileName source命令作用在当前bash环境下读取并执行FileName中的命令。 *注：该命令通常用命令“.”来替代。使用范例： s 阅读全文

posted @ 2021-02-08 16:04 彬在俊阅读(636) 评论(0) 推荐(0) 编辑

2021年2月3日

Scala 随笔

摘要：转自：http://dblab.xmu.edu.cn/blog/spark/ 一、声名值和变量 1. val变量 1.1 隐式声明变量 scala> val myStr = "Hello World!" myStr: String = Hello World! 1.2 显式声明变量的类型 scala 阅读全文

posted @ 2021-02-03 10:18 彬在俊阅读(110) 评论(0) 推荐(0) 编辑

2021年1月29日

SparkStreaming实时流式大数据处理实战总结

摘要：总结《SparkStreaming实时流式大数据处理实战》一、初始spark 1. 初始sparkstreaming 1.1 大数据处理模式 1. 一种是原生流处理（Native）的方式，即所有输入记录会一条接一条地被处理，storm 和 flink 2. 另一种是微批处理（Batch）的方式，将阅读全文

posted @ 2021-01-29 20:12 彬在俊阅读(1453) 评论(0) 推荐(0) 编辑

公告