摘要： 缓存：数据可以丢、追求极速！ 数据库: 数据绝对不能丢的，速度+持久性 so： 当数据库的时候，需要数据持久化！ 存储层： 1.快照、副本 2.日志 怎么持久化？ 1.在当前县城开始持久化，假如8点开始持久化，8点半持久化完成，8点时候a=10 8点半时候a=20,那么到底持久化10还是20，如果持 阅读全文

摘要： 和redis建立socket链接 nc localhost 6379 [root@redis ~]# nc localhost 6379 keys * *5 $6 unkey2 $5 unkey $2 k1 $2 k2 $6 unkey1 set nckey a +OK flushall +OK [ 阅读全文

摘要： String类型 set k1 aaa append k1 "bbb" getrange k1 0 -1 setrange k1 5(不能负数) ccc 替换，不够就补 object help object encoding k1 字符串是 embstr、raw、int incr k2 incrby 阅读全文

摘要： 1，yum install wget2,cd ~3,mkdir soft4,cd soft5,wget http://download.redis.io/releases/redis-5.0.5.tar.gz6,tar xf redis...tar.gz7,cd redis-src8,看README 阅读全文

摘要： 1.数据是存储在文件中的 2.linux读取方式: grep、awk 3.程序读取方式：java 4.常识 常识： 磁盘： 1，寻址：ms 2，带宽：G/M 内存： 1，寻址：ns 2，带宽：很大 秒>毫秒>微秒>纳秒 磁盘比内存在寻址上慢了10W倍 I/O buffer：成本问题 磁盘与磁道，扇区 阅读全文

摘要： 上课人数：指标 男生 女生 戴眼镜 不戴眼镜 戴眼镜男生 不戴眼镜男生 戴眼镜女生 不戴眼镜女生 张三 男 戴眼镜 李四 男生 不戴眼镜 需求：通过一个MR将所有存在的值都计算出来 map：输入一条记录，输出是K-V键值对的数据 男生 张三 戴眼镜 张三 戴眼镜男生 张三 男生 李四 不戴眼镜 李四 阅读全文

摘要： 一：ke03阻塞启动 hive --service metastore 二： ke04 hive增加配置 /opt/bigdata/hive-2.3.4/conf <property> <name>hbase.zookeeper.quorum</name> <value>ke02,ke03,ke04 阅读全文

摘要： 需求：收集日志 需求流程图 环境 HDFS环境 Flume环境 Nginx环境 HBase Hive mysql nginx安装 安装之前准备 1、依赖 gcc openssl-devel pcre-devel zlib-devel 安装：yum install gcc openssl-devel 阅读全文

摘要： Hive Serde Hive Serde用来做序列化和反序列化，构建在数据存储和执行引擎之间，对两者实现解耦。 应用场景: hive主要用来存储结构化数据，如果结构化数据存储的格式嵌套比较复杂的时候，可以使用serde的方式，利用正则表达式匹配的方法来读取数据，例如，表字段如下：id,name,m 阅读全文

摘要： 数据库的基本操作 展示所有数据库 show databases; 切换数据库 user database_name; 创建数据库 create database database_name; 删除数据库 drop database database_name; 注意：当进入hive的命令行开始编写S 阅读全文