随笔分类 - 大数据历程
不断学习，充实自己，该分类主要记录学习大数据之路
摘要：为什么读、写、执行的权限数字表示是4、2、1 Linux中查看磁盘的使用情况 df -h 修改文件的所属用户 chown 用户名:组名 文件名 chown = change own 添加用户到用户组 usermod -a -G 组名 用户名
阅读全文
摘要：一、准备工作 三台虚拟机：master、node1、node2 #克隆的时候选择 完整克隆 和 链接克隆 的区别 完整克隆：克隆出两台独立的虚拟机 链接克隆：依赖master，假如说把master删了，那么node1、node2就都挂了 链接克隆较完整克隆更加节省空间 时间同步 ntpdate nt
阅读全文
摘要：Apache、服务器、机架 什么是Hadoop、Hadoop的由来 Hadoop中的三大组件 Hadoop版本介绍 分布式存储--HDFS HDFS架构分析 资源的调度和管理平台--yarn 分布式计算--MapReduce Hadoop的特点
阅读全文
摘要：https://juejin.cn/post/6844903986475057165
阅读全文
摘要：先新建一个项目 进入Maven仓库找一个Redis的依赖(Jedis) Maven仓库的网址：Maven Repository: Search/Browse/Explore (mvnrepository.com) 找这个 #在Maven项目中的pom.xml文件中添加依赖 <dependencies
阅读全文
摘要：Redis集群 一、主从复制 1.介绍 主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器，主从是哨兵和集群模式能够实施的基础。前者称为主节点(master)，后者称为从节点(slave),数据的复制是单向的，只能由主节点到从节点。 默认情况下，每台Redis服务器都是主节点；
阅读全文
摘要：HyperLogLog #基数：集合去重过后元素的个数 HyperLogLog的底层很复杂，但是用起来很简单，就三个命令。HyperLogLog是用来统计基数的 HyperLogLog只需要12KB就可以统计一组数据的基数。 设置元素为HyperLogLog 统计基数 例如 HyperLogLog的
阅读全文
摘要：SortedSet有序集合的特点 增 删 改 没有相关命令 先删除，再添加 查 分值的增加和减少 返回元素的索引 返回元素的逆序排名 返回指定索引区间元素 逆序返回指定索引区间元素(降序) 返回指定分值区间元素(升序) 返回指定分值区间元素 (降序) 移除指定排名(索引)范围的元素 移除指定分值范围
阅读全文
摘要：什么是元数据？？ 描述数据的数据就是元数据 Redis中的set集合 增 增加一个或多个元素 删 移除一个或者多个元素 改 没有修改的命令 只能先删除，再增加 查 返回集合包含的所有元素、检查给定元素是否存在于集合中 返回集合中元素的个数、随机从集合中移除并返回这个被移除的元素、把元素从源集合移动到
阅读全文
摘要：什么是hash散列？？ 设置hash散列的元素 获取字段(field)的个数、判断字段是否存在 获取字段(field)的值(value) 获取所有键值对、获取所有字段名、获取所有值 整数及浮点数的增量计算 删除指定的hash散列的字段 #DEL可以操作所有的key 修改指定字段(field)的值(v
阅读全文
摘要：Another-Redis-Desktop-Manager.1.5.1的安装 Another-Redis-Desktop-Manager.1.5.1--Redis可视化工具 选择好安装位置，无脑下一步即可 安装完毕之后 ……（不说了） 修改redis密码（不建议修改） #redis默认没有密码 修改
阅读全文
摘要：list列表 list列表的索引 向list集合中压入元素 从list集合中弹出元素 压入和弹出的示例 关于 B 阻塞 获取和设置指定位置的元素、获取列表的长度(元素的个数) 示例
阅读全文
摘要：redis中的数据库 之前我们说过在redis中没有表的概念，但是有库的概念。 redis默认由16个库 (0~15号). 且默认使用的是0号库，这是在哪看到的呢？ 在redis的配置文件(redis.conf)中 不同库之间的key可以重名 登陆不同的库 在我们之前登陆redis的时候（没有指定库
阅读全文
摘要：什么是bitmap？？ SETBIT设置某一位上的值 获取某一位上的值 返回指定值0或者1在指定区间上第一次出现的位置 位操作 统计指定位区间上值为1的个数 redis中的二进制存储
阅读全文
摘要：查看键的类型 查看键是否存在 键的重命名 删除键 获取value值 获取value的长度(字节个数) 追加字符串 获取子字符串 覆盖字符串 对于数值的自增和自减 INCR命令 DECR命令 INCRBY命令 DECRBY命令 INCRBYFLOAT
阅读全文
摘要：程序的默认端口号 redis：6379 MySQL：3306 ssh：22 http：80 https：443 tomcat：8080 redis中的数据模型 键key value的String类型 redis命令--help redis命令--set set存储中文字符时 redis中的事物 设置
阅读全文
摘要：Linux虚拟机中DNS最好是自己的网关地址 114.114.114.114 8.8.8.8 这两个也可以，但是在虚拟机中把DNS设置成自己的网关地址最好 因为这样你对网络发起请求的时候，它会转换到我们Windows上面，所以只要Windows能通，Linux虚拟机就能通 vim /etc/sysc
阅读全文
摘要：Redis是什么呢？ Redis是一个非关系型数据库，在Redis中没有表的概念，所以更加谈不上表的结构，so在Redis中没有SQL，那么在Redis中的数据我们怎么操控呢？？ Redis是一个k-v格式的数据库，所以在Redis中我们通过k去操控v。 常见的NoSQL数据库 Redis排名 Re
阅读全文
摘要：一、相关概念 1.什么是JDBC JDBC（Java Database Connectivity,java数据库连接）是一种用于执行SQL语句的Java API，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。JDBC提供了一种基准，据此可以构建更高级的工具和接口，使数据
阅读全文
