摘要：
1.概念 Amazon s3全称Amazon Simple Storage Service，是一个对象存储，不是一个file system，所以在使用s3的时候，list dir会很慢 kv存储：从零开始写KV数据库：基于哈希索引 比如如下的s3路径 s3://BucketName/Project/ 阅读全文
摘要：
安装openldap，参考： https://www.alibabacloud.com/blog/how-to-install-openldap-and-phpldapadmin-on-ubuntu-16-04_594318 https://www.cnblogs.com/hzw97/p/11592 阅读全文
摘要：
1.查看java进程，jps命令可以列出正在运行的虚拟机进程 jps -l 1005373 sun.tools.jps.Jps 1000153 org.apache.flume.node.Application 2.查看flume进程java虚拟机的统计信息 jstat -gcutil 102847 阅读全文
摘要：
添加maven proxy 比如中央仓库 https://repo1.maven.org/maven2/ 比如cloudera的仓库 https://repository.cloudera.com/artifactory/cloudera-repos maven-central maven-clou 阅读全文
摘要：
参考：从Paxos到Zookeeper分布式一致性原理和实践 使用的zk依赖是cdh5.16.2的3.4.5 <!-- zookeeper --> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</ 阅读全文
摘要：
1.CaseFormat CaseFormat是guava中用于字符串格式转换的工具，有以下几种类型 UPPER_CAMEL，比如 UpperCamel UPPER_UNDERSCORE，比如 UPPER_UNDERSCORE LOWER_CAMEL，比如 lowerCamel LOWER_HYPH 阅读全文
摘要：
别名是一个指针或者名称，可以对应一个或者多个具体的索引。 别名的创建，这样就给一个名为es的索引添加了一个别名：alias_test lintong@lintongdeMacBook-Pro ~ $ curl -XPUT 'http://master:9200/es/_alias/alias_tes 阅读全文
摘要：
1，由cdh安装的kafka的默认存储路径如图所示在/var/local/kafka/data，一般会进行修改 kafka配置参考：apache kafka系列之server.properties配置文件参数说明 路径下文件如下 如果是多个路径的话，使用,进行分隔，比如/data01/kafka/d 阅读全文
摘要：
参考：分布式系统协议Paxos、Raft和ZAB Paxos算法是一种提高分布式系统容错率的一致性算法 Paxos 算法的步骤是这样： 1.首先有两种角色，一个是“提议者”，一个是“接受者”。提议者可以向接受者提出提议，然后接受者表达意见。 2.因为存在多个提议者，如果同时表达意见会出现意见不一致的 阅读全文
摘要：
1.Master选举 在分布式系统中，需要选举一台机器作为master或者leader。 这时候，可以选择一个跟节点，比如/master，然后多台机器同时像这个节点创建一个子节点/master/lock，利用zookeeper的特性，最终只有一台机器能否创建成功，成功的那台机器就是Master； 其 阅读全文
摘要：
ZkClient是开源的zk客户端，对Zookeeper原生的java api进行了封装，实现了诸如session超时重连，watcher反复注册等功能。 依赖的话有 <dependency> <groupId>com.101tec</groupId> <artifactId>zkclient</a 阅读全文
摘要：
参考：从Paxos到Zookeeper分布式一致性原理和实践 使用的zk依赖是cdh5.16.2的3.4.5 <!-- zookeeper --> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</ 阅读全文
摘要：
参考：从Paxos到Zookeeper分布式一致性原理和实践 使用的zk依赖是cdh5.16.2的3.4.5 <!-- zookeeper --> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</ 阅读全文
摘要：
用于将本地特定规则的请求转发到某个ip port代理 mac系统需要编辑~/.$hadow$ocksX-NG/gfwli$t.js中的FindProxyForURL函数 var proxy = "PROXY 127.0.0.1:xxxx; DIRECT;"; var rules = [ "||xxx 阅读全文
摘要：
参考：从Paxos到Zookeeper分布式一致性原理和实践 使用的zk依赖是cdh5.16.2的3.4.5 <!-- zookeeper --> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</ 阅读全文
摘要：
参考：从Paxos到Zookeeper分布式一致性原理和实践 使用的zk依赖是cdh5.16.2的3.4.5 <!-- zookeeper --> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</ 阅读全文
摘要：
参考：从Paxos到Zookeeper分布式一致性原理和实践 使用的zk依赖是cdh5.16.2的3.4.5 <!-- zookeeper --> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</ 阅读全文
摘要：
1.将系统进行root 手机的miui版本需要是开发版，并且进行了root，这样才能获取到卸载系统自带软件的权限 尤其是小爱同学这个语音助手，消耗了过多的系统资源，使得手机变得卡顿，所以建议卸载掉 像通过安全中心进行卸载的方式是不能完全卸载掉的，会随着系统后台再次进行安装，所以只能获取root权限后 阅读全文
摘要：
Flink集群部署的方式有以下几种，在本文中主要介绍Flink on yarn： Yarn Mesos Docker/Kubernetes Standalone 参考： https://www.slideshare.net/tillrohrmann/redesigning-apache-flinks 阅读全文
摘要：
1.在使用frp进行内网穿透的基础上，在内网机器的frpc.ini配置中添加 [web] type = tcp local_ip = master local_port = 内网端口 remote_port = 外网机器端口 启动 ./frpc -c frpc.ini 2.在内网机器上启动ss-se 阅读全文
摘要：
1.前提：1台有公网ip的服务器（1核1G），1台在内网的服务器（16G） 2.在公网机器上安装frp，并启动frp server 下载并解压 wget https://github.com/fatedier/frp/releases/download/v0.33.0/frp_0.33.0_linu 阅读全文
摘要：
如果机器ip变更的话,cdh将无法正常启动,需要修改两个地方的ip地址 1.数据库scm库的HOSTS表,将IP_ADDRESS字段的ip修改成变更后的ip地址 2.修改/etc/cloudera-scm-agent/config.ini中的ip地址 然后进行重启 阅读全文
摘要：
sqlalchemy是Python的ORM框架 1.安装sqlalchemy 2.安装mysql-connector 阅读全文
摘要：
Hive hook是hive的钩子函数，可以嵌入HQL执行的过程中运行，比如下面的这几种情况 参考 https://www.slideshare.net/julingks/apache-hive-hooksminwookim130813 有了Hook，可以实现例如非法SQL拦截，SQL收集和审计等功 阅读全文
摘要：
Flink的kafka connector文档 https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/connectors/kafka.html Flink写入kafka时候需要实现序列化和反序列化 部分代码参考了 h 阅读全文
摘要：
Flink也和和spark-shell类似的交互式开发模式 bin/start-scala-shell.sh yarn Starting Flink Shell: 20/03/14 14:34:07 INFO configuration.GlobalConfiguration: Loading co 阅读全文
摘要：
参考Flink官方example https://github.com/apache/flink/blob/master/flink-examples/flink-examples-streaming/src/main/java/org/apache/flink/streaming/examples 阅读全文
摘要：
参考Flink官方代码的example https://github.com/apache/flink/blob/master/flink-examples/flink-examples-streaming/src/main/java/org/apache/flink/streaming/examp 阅读全文
摘要：
可以使用CM提供的api查询cdh集群的信息 http://cloudera.github.io/cm_api/ 7.0.3的api文档 https://archive.cloudera.com/cm7/7.0.3/generic/jar/cm_api/apidocs/index.html 查询im 阅读全文
摘要：
1.下载安装文件 https://github.com/docker/kitematic/releases 解压并安装 sudo dpkg -i ./Kitematic-0.17.10_amd64.deb 启动，然后可以启动容器 并可以修改端口映射 如果kitematic的my images无法显示 阅读全文
摘要：
本来想cdh集成flink，但是我的cdh版本为5.16.2，参考了下面的issue可能cdh版本太低，至少要cdh6 https://github.com/pkeropen/flink-parcel/issues 进行独立安装 wget https://archive.apache.org/dis 阅读全文
摘要：
1.hive sql提交到yarn上面执行之后，将会成为MR任务执行 正在运行的MR任务的application查看的url，不同类似的任务查看的url可能会不同，比如Spark，Flink等 http://xxxx:8088/cluster/app/application_158225xxxxx_ 阅读全文
摘要：
1.yarn top，查看yarn上面的资源使用情况 2.队列使用状态 queue -status root.xxx_common Queue Information : Queue Name : root.xxx_common State : RUNNING Capacity : 100.0% C 阅读全文
摘要：
Shard是什么？ 在下面的文档中进行了介绍 https://www.elastic.co/guide/cn/elasticsearch/guide/current/kagillion-shards.html 1.一个分片的底层即为一个 Lucene 索引，会消耗一定文件句柄、内存、以及 CPU 运 阅读全文
摘要：
在最新的mac catalina系统中，已经从karabiner更名为karabiner-elements，安装的版本为Karabiner-Elements-12.9.0 下载地址：https://pqrs.org/osx/karabiner/ 安装后会有两个应用，一个是Karabiner-Elem 阅读全文
摘要：
1.在 ~/.zshrc 中添加 source ~/.bash_profile 参考：https://blog.csdn.net/qq_18505715/article/details/83276208 2.比如mac的git命令补全不生效，可以参考如下文章添加 https://blog.csdn. 阅读全文
摘要：
参考：https://juejin.im/post/5daec26a51882575d50cd0aa 1.查看brew当前源 git -C "$(brew --repo)" remote -v origin https://github.com/Homebrew/brew (fetch) origi 阅读全文
摘要：
参考：https://www.ctolib.com/greymd-tmux-xpanes.html brew install tmux-xpanes 或者 # Install `add-apt-repository` command, if necessary. $ sudo apt install 阅读全文
摘要：
项目中有一张表是记录人员，在每个新用户调用接口认证通过了之后，会有一个往该表插入这个新用户信息的操作。 但是在线上环境中，发现该表的自增id不连续，且间隔都是差了2，比如上一个人的id是10，下一个人的id就是12，而在前端页面中，一个用户认证通过后，会调用3个接口，初步排查是MySQL并发操作导致 阅读全文
摘要：
1.git clone git clone git@github.com:DeemOpen/zkui.git 2.打包 mvn clean install 3.复制config.cfg到target目录，并修改zk地址 4.配置 supervisor zkui.conf [program:zkui] 阅读全文