挪威森林猫

摘要： 1.直接查询所用内存大小 , 可以用来做压力监控 [root@192 ~]# redis-cli info memory|grep used_memory_human 你也可以放自己的脚本里面 , 得到的是一种状态 , 所占内存的信息 . 阅读全文

摘要： 1.下载这个redis的 rpm 安装包 redis的rpm 和 依赖的 rpm https://cloud.189.cn/t/Zb6fyijueu63 因为我选择的版本是3.2.8 所以需要的依赖只有这一个(先安装dependency) 2. whereis redis 这个是防止你不知道redi 阅读全文

摘要： 1 . 基于Linux , centos7可安装 .必须有systemd 服务 具体可采用 rpm 安装方式 2.安装好之后 taos 可直接进入 有database , table 层级 ,和一般数据库一样 , 分库分表 3. 基本SQL有 , --> PS.此数据库是专攻时间维度上的 , 某些聚 阅读全文

摘要： 1.Spark 内部已经实现了连接各种数据库和仓库 MySQL HDFS HIVE textFile RDD(数据集) 将 HDFS 基于Spark 得到的计算结果保存至MySQL 也是极其简单的 如何将程序更加模块化和可控制 ,我们一般都是运行时加不同参数 以达到不同时间 , 不同地点 , 不同需 阅读全文

摘要： 1. 解决领域 位于不同 jvm 下的线程之间 , 不能使用 synchronized 那么 同一时间就可能对同一个资源进行访问 , 造成状态不一致. 比如 A , B买东西 , 买 资源 菠萝 ,只有一个 ,两个线程同时读到剩余 1 个库存 ,然后同时下单 .造成超卖 这个时候用一个统一能访问到的 阅读全文

摘要： 1. 远程登录 无论是poweshell 还是xshell ssh yark@192.168.1.1 用户 地址 按enter 再输入密码 2.Linux 查找文件名包含 比如 com find / -name *com 或者com* 放中间 比如 tan\*860 加转义字符 3. 新建文件 -- 阅读全文

摘要： 1.分桶之前要打开 hive.enforce.bucketiong=true; 2.分桶处理的对象必须是有,有效的列 , 比如我分了三个桶,针对id , 那么就是取id的hash值 , 然后分别放入三个不同之中 ,注意 不能指定数据存放在哪个桶 , 他自己会根据哪个列判断 , 你只需要保证传入的数据 阅读全文

摘要： 1. mapper 分片 数量 解释 PS : 这里面还没有进行reduce 之前的shuffer , shuffer会把每个单词发送的不同的机器 , 假如有两个reduce , 那么相同颜色的都在一个节点上面 , 2. 3.reduce 之前必须shuffer 这是在有两个reducer的情况下 阅读全文

摘要： import MySQLdb # 打开数据库连接 这是虚拟机映射为网络数据库 db = MySQLdb.connect("192.168.1.11", "hive", "hive", "yewu001", port=3306, charset='utf8') # IP 用户名 密码 database 阅读全文

摘要： 1.首先创建tb1 , tb2 两个表 create tb1(id INT,name varchar(30)); create tb2(id INT,name varchar(30)); 2.编写触发器 , 用navicat , 主要是实现表1和表2的同步 3.插入数据 insert into tb 阅读全文