02 2020 档案

内网其他服务器节点连接Mysql数据库很慢的解决方案

摘要：一、概述使用jdbc方式对数据进行同步时，由于设置了数据库登录超时时间是10s，结果发现有的服务器节点可以连接，有的服务器节点不能连接Mysql数据库。排查了好长原因，最后，自己写了一个jdbc的测试程序，发现正常节点连接只需要200ms左右，而其他节点却需要10400ms，而我们由于设置的10s 阅读全文

posted @ 2020-02-24 10:52 虎啸千峰阅读(1264) 评论(0) 推荐(0) 编辑

MongoDB分片技术原理和高可用集群配置方案

摘要：一、Sharding分片技术 1、分片概述当数据量比较大的时候，我们需要把数分片运行在不同的机器中，以降低CPU、内存和Io的压力，Sharding就是数据库分片技术。 MongoDB分片技术类似MySQL的水平切分和垂直切分，数据库主要由俩种方式做Sharding：垂直扩展和横向切分。垂直扩展阅读全文

posted @ 2020-02-21 17:23 虎啸千峰阅读(3735) 评论(0) 推荐(0) 编辑

Hive事务原理和Datax同步事务表问题解决

摘要：一、事务的概述 1、定义事务就是一组单元化操作，这些操作要么都执行，要么都不执行，是一个不可分割的工作单位。 2、特点事务（transaction）具有的四个要素：原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久性（Durability）。这四个阅读全文

posted @ 2020-02-13 11:49 虎啸千峰阅读(2377) 评论(0) 推荐(0) 编辑

Mysql使用存储过程创建测试数据

摘要：一、概述存储过程（Stored Procedure）是在大型数据库系统中，一组为了完成特定功能的SQL 语句集。其存储在数据库中，经过第一次编译后调用不需要再次编译，用户通过指定存储过程的名字并给出参数（如果该存储过程带有参数）来执行它。存储过程是数据库中的一个重要对象。二、存储过程的特点能阅读全文

posted @ 2020-02-13 10:37 虎啸千峰阅读(1024) 评论(0) 推荐(0) 编辑

Hive的原生部署方式

摘要：一、Hive的部署 1、官方文档 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 2、前提条件需要安装JDK1.7之上版本 Hadoop2.x以上版本一般选择在Linux上运行元数据库Mysql 使用CDH-5.1 阅读全文

posted @ 2020-02-02 21:31 虎啸千峰阅读(411) 评论(0) 推荐(0) 编辑