CENTOS7设置显示中文
摘要：vi /etc/locale.conf securecrt Session Options->Appearance->Character设置成utf-8
阅读全文
posted @
2016-03-31 14:45
凌度
阅读(508)
推荐(0) 编辑
hadoop安装
摘要：查看CentOS自带JDK是否已安装。 yum list installed |grep java。 安装和更新java yum -y install java-1.7.0-openjdk* 设置java_home=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.99-2
阅读全文
posted @
2016-03-30 14:15
凌度
阅读(312)
推荐(0) 编辑
linux使用flock文件锁解决crontab冲突问题
摘要：使用linux flock 文件锁实现任务锁定，解决冲突 格式： flock [-sxun][-w #] fd# flock [-sxon][-w #] file [-c] command
阅读全文
posted @
2016-03-28 15:25
凌度
阅读(1076)
推荐(0) 编辑
Hive On Spark和SparkSQL
摘要：SparkSQL和Hive On Spark都是在Spark上实现SQL的解决方案。Spark早先有Shark项目用来实现SQL层，不过后来推翻重做了，就变成了SparkSQL。这是Spark官方Databricks的项目，Spark项目本身主推的SQL实现。Hive On Spark比SparkS
阅读全文
posted @
2016-03-27 11:26
凌度
阅读(602)
推荐(0) 编辑
MapReduce和Tez对比
摘要：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"。 Tez是Apache开源的支持DAG作业的计算框架，它直接源于MapReduce框架，核心思想是将Map和Reduce两个操作进一步拆分，即Map被拆分成Input、Pro
阅读全文
posted @
2016-03-27 11:00
凌度
阅读(35489)
推荐(2) 编辑
安装python的redis模块
摘要：wget --no-check-certificate https://pypi.python.org/packages/source/r/redis/redis-2.8.0.tar.gz tar -zvxf redis-2.8.0.tar.gz mv redis-2.8.0 python-redi
阅读全文
posted @
2016-03-14 14:09
凌度
阅读(1192)
推荐(0) 编辑
