01 2019 档案
摘要：1. 使用 docker 运行 mysql，方便快捷 2. 手动安装 2.1 下载包、安装并启动服务 2.2 获取自动生成的临时密码： 2.3 运行下面的命令，修改 root 的密码 2.4 上面会要求输入的新密码符合一定的规则，这与 validate_password_policy 的值有关。 v
阅读全文
摘要：1. 下载并解压安装脚本： Hortonworks Data Platform (HDP) for Docker 2. 进入到解压后的目录，运行下面的命令，{HDPversion} 需要替换成相应目录里的版本： 这一步会花很长时间，需要拉取 docker 镜像（hortonworks/sandbox
阅读全文
摘要：Kafka 作为消息中间件，得到越来越广泛的应用。Kafka connect 是一种可扩展、可信赖的工具， 用于Kafka 和其它应用系统之间的数据流动。数据源系统可以通过 connect (source) 把消息放入到 kafka 的 topic 中，其它系统可以通过 connect (sink)
阅读全文
摘要：前面安装的 KONG 的版本是社区版的 1.0.2，官方的 KONG Manager 好像只有企业版才提供。在 github 上找了一个开源的图形化管理应用 -- Kong Dashboard （https://github.com/PGBI/kong-dashboard），可惜只支持到 0.14
阅读全文
摘要：默认情况下， KONG 监听下面几个端口： 8000 这个端口用于监听客户端的 HTTP 请求，并转发给上游服务 8443 这个端口用于监听客户端的 HTTPS 请求，并转发给上游服务 8001 用于接收配置 KONG 的 Admin API 8444 功能同 8001，只是这个端口接收的是 HTT
阅读全文
摘要：1. 下载安装包： https://bintray.com/kong/kong-community-edition-rpm/download_file?file_path=centos/7/kong-community-edition-1.0.2.el7.noarch.rpm 2. 运行下面的两个命
阅读全文
摘要：本文是对 http://kylin.apache.org/docs20/howto/howto_optimize_build.html 的翻译，以便阅读。 1. 创建 Hive 中间表（Create Intermediate Flat Hive Table） 这个过程会把 cube 中用到的所有 H
阅读全文
摘要：1. 下载： wget http://mirrors.shu.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 2. 解压后，假设 $SQOOP_HOME 为解压后的文件夹的位置，进入 $SQOOP_HOME/conf 目录
阅读全文
摘要：1. 主要配置 config/server.properties （1） broker.id=0 # 集群中，每个 kafka 实例的值都不一样 （2） log.dirs=/tmp/kafka-logs #日志文件的位置 （3） zookeeper.connect=bigdata3:2181,big
阅读全文
摘要：增删改流程： 1. 客户端和任一节点（假设 Node1）发出请求，这个node就是coordinating node（协调节点） 2. coordinating node，对document进行路由，将请求转发给对应的node（有primary shard，假设是 Node2） 3. Node2上的
阅读全文
摘要：（1）index包含多个shard（2）每个shard都是一个最小工作单元，承载部分数据，lucene实例，完整的建立索引和处理请求的能力（3）增减节点时，shard会自动在nodes中负载均衡（4）primary shard和replica shard，每个document肯定只存在于某一个pri
阅读全文
摘要：1、Elasticsearch对复杂分布式机制的透明隐藏特性Elasticsearch是一套分布式的系统，分布式是为了应对大数据量，隐藏了复杂的分布式机制分片机制（我们之前随随便便就将一些document插入到es集群中去了，我们有没有care过数据怎么进行分片的，数据到哪个shard中去）clus
阅读全文
摘要：1. 按照 tags 字段 进行分组 GET /ecommerce/product/_search{ "size": 0, "aggs": { "group_by_tag": { "terms": { "field": "tags", "size": 10 } } }} （注意： "size": 0
阅读全文
摘要：1. Elasticsearch的适用场景： （1）类似百度百科的全文检索，高亮，搜索推荐（2）新闻类的搜索，用户行为日志（点击，浏览，收藏，评论）+社交网络数据（对某某新闻的相关看法），数据分析，给到每篇新闻文章的作者，让他知道他的文章的公众反馈（3）Stack Overflow（国外的程序异常讨
阅读全文
摘要：1. 进入HBase 的控制端（可以在任意一台机器上启动，只要其配置和HMaster 的配置一样）： hbase shell 进入后，出现类似下面的提示符： hbase(main):002:0> 2. 输入 help ， 可以列出所有的命令。 得到某个命令的详细用法： help "create" 注
阅读全文
摘要：安装： apt-get install mysql-server 会安装最新版本的 mysql ，安装时会提示输入 root 的密码 进入 mysql： mysql -u root -p 进入后会出现 mysql> 的提示符。 创建一个用户，下面例子中的用户是 sqoop： create user
阅读全文
