2020年6月30日

redis 常见问题

摘要: Redis V5.0程序超时频率高是什么原因? CDB新集群默认部署V5.0版本Redis,建议JAVA使用Jedis V3.3及以上版本,PHP使用phpredis V5.1及以上版本 Redission连接V5.0会频繁与Server端断开连接,请使用V4.0低版本Redis集群 Redis响应 阅读全文

posted @ 2020-06-30 18:12 dongtime 阅读(186) 评论(0) 推荐(0) 编辑

2020年6月11日

使用Binlog日志恢复误删的MySQL数据

摘要: MySQL的binlog日志是什么?通常是用来干什么的? 模拟一次误删数据的操作,并且使用binlog日志恢复误删的数据。 这篇文章其实是想让大家放心,MySQL就算进行了误删操作,也基本都能够抢救回来。尤其是大公司内,数据可不是你想删就能删掉的,有权限/备份几层保障阻拦着你干坏事。 正文 Binl 阅读全文

posted @ 2020-06-11 14:58 dongtime 阅读(289) 评论(0) 推荐(0) 编辑

2020年5月28日

python 操作redis

摘要: Redis是一个基于内存的高效的键值型非关系型数据库,存取效率极高,而且支持多种存储数据结构,使用也非常简单。本节中,我们就来介绍一下Python的Redis操作,主要介绍RedisPy这个库的用法。 1. 准备工作 在开始之前,请确保已经安装好了Redis及RedisPy库。如果要做数据导入/导出 阅读全文

posted @ 2020-05-28 20:28 dongtime 阅读(307) 评论(0) 推荐(0) 编辑

2020年5月27日

大数据平台的搭建思路

摘要: 做任何事情都要有目标,然后根据这个目标根据自身的条件和外部的情况制定一个思路,这个思路也可以理解为实现目标的路径。那么大数据的平台搭建也不例外。 脚本工具化 在数据收集,存储、分析的初期,通常来说程序员都是根据业务需求,通过一些脚本来完成数据收集,分析的工作。表面上是完成了一些数据操作的功能,同时也 阅读全文

posted @ 2020-05-27 19:37 dongtime 阅读(5034) 评论(0) 推荐(0) 编辑

2019年7月18日

LEFT SEMI JOIN

摘要: 介绍 (左半连接)是 IN/EXISTS 子查询的一种更高效的实现。 Hive 当前没有实现 IN/EXISTS 子查询,所以可以用 LEFT SEMI JOIN 重写你的子查询语句。 示例 SELECT A.KEY,A.VALUE FROM A WHERE A.KEY IN (SELECT B.K 阅读全文

posted @ 2019-07-18 11:16 dongtime 阅读(1734) 评论(0) 推荐(0) 编辑

2019年5月29日

HDFS小文件问题及解决方案

摘要: 1、概述 小文件是指文件size小于HDFS上block大小的文件。这样的文件会给Hadoop的扩展性和性能带来严重问题。首先,在HDFS中,任何block,文件或者目录在内存中均以对象的形式存储,每个对象约占150byte,如果有1000 0000个小文件,每个文件占用一个block,则namen 阅读全文

posted @ 2019-05-29 11:32 dongtime 阅读(6435) 评论(0) 推荐(0) 编辑

2019年4月3日

perl取文件大小

摘要: my @args = stat ($filename); my $size = $args[7]; stat()函数返回一个数组。下面是数组各元素的含义。 0 dev 设备号 驱动器号(C:通常是2,D:通常是3,等等) 1 ino 索引节号 总是0 2 mode 文件的方式 无 3 nlink 链 阅读全文

posted @ 2019-04-03 10:23 dongtime 阅读(1049) 评论(0) 推荐(0) 编辑

2019年3月15日

HIVE优化

摘要: 1.概述 继续《那些年使用Hive踩过的坑》一文中的剩余部分,本篇博客赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。 2.介绍 首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题? 数据量大不是问题,数据倾斜是个问题。 job 阅读全文

posted @ 2019-03-15 17:08 dongtime 阅读(144) 评论(0) 推荐(0) 编辑

2019年2月25日

Redis和MongoDB的对比

摘要: 项目中用的是MongoDB,但是为什么用其实当时选型的时候也没有太多考虑,只是认为数据量比较大,所以采用MongoDB。 最近又想起为什么用MongoDB,就查阅一下,汇总汇总: 之前也用过redis,当时是用来存储一些热数据,量也不大,但是操作很频繁。现在项目中用的是MongoDB,目前是百万级的 阅读全文

posted @ 2019-02-25 14:23 dongtime 阅读(3376) 评论(0) 推荐(0) 编辑

MongoDB语法与RMDB SQL对照

摘要: MongoDB语法 MySql语法 db.test.find({'name':'foobar'}) select from test where name='foobar' db.test.find() select from test db.test.find({'ID':10}).count() 阅读全文

posted @ 2019-02-25 14:22 dongtime 阅读(231) 评论(0) 推荐(0) 编辑

导航