随笔分类 - 大数据
摘要：搭建cassandra集群很简单，简单来说就是四步骤： （1）各节点安装、配置JRE （2）部署可执行行cassandra文件 （3）修改cassandra配置文件 （4）启动cassandra 一、准备： 192.168.159.150 cassandra1 192.168.159.151 cas
阅读全文
摘要：一、capture用于捕获命令的输出并将其添加到文件 hadoop@datax ~]$ touch 1.txt[hadoop@datax ~]$ cqlshConnected to Test Cluster at 127.0.0.1:9042[cqlsh 6.0.0 | Cassandra 4.0.
阅读全文
摘要：这里没有按apache官网上的根据各系统而采用的各种安装。(可以参考：https://cassandra.apache.org/doc/latest/cassandra/getting_started/installing.html) [hadoop@datax cassandra]$ git cl
阅读全文
摘要：1.在系统表上执行reindex命令重建系统表索引。该操作移除索引膨胀并提高VACUUM性能。 会产生锁，可能对当前正在运行的查询产生较大影响。 2.在系统表上执行VACUUM. 3.在系统表上执行analyze操作，以更新统计信息。 [gpadmin@gp-mdw ~]$ cat gp.sh #!
阅读全文
摘要：我的GP集群只有4台，一台mdw,一台备的sdw，两台segment节点，没有创建etl节点，生产中受网络，磁盘等影响，建议使用etl节点操作。 作用： 一般安装在一台ETL机器上使用 基于libevent的高速并行文件加载工具 充分利用多节点优势，并行加载 加载性能非常好 可水平扩展 实验目的：
阅读全文
摘要：从GP6.0后，使用gpbackup命令来实现备份。但GP里是不自带的，需要自己重新下载并编译和安装。 一、安装 （1）master上go下载并配置profile环境变量 go下载地址 ：https://go.dev/dl/ 环境变量： /etc/profile文件增加 export GOPATH=
阅读全文
摘要：组件 端口及说明CDH 7180： Cloudera Manager WebUI端口7182： Cloudera Manager Server 与 Agent 通讯端口Hadoop 50070：HDFS WEB UI端口8020 ： 高可用的HDFS RPC端口9000 ： 非高可用的HDFS RP
阅读全文
摘要：一、流行的Hadoop版本 (1)Apache Hadoop (2)Cloudera（Cloudera’s Distribution Including Apache Hadoop，简称CDH),普遍选择此产品。 hadoop 是一个开源项目，所以很多公司在这个基础进行商业化，Cloudera对 h
阅读全文
摘要：一、区别： (1)Greenplum 是用于报告、分析、机器学习、人工智能和高并发 SQL 的大规模并行数据库的开源软件。 Greenplum 以 PostgreSQL 为基础，Greenplum数据库被描述为以MPP架构和PostgreSQL开源数据库技术为基础的大数据技术。 Greenplum
阅读全文
