HarkLee

摘要： 区别在于sc.map是将RDD下的所有行数据统计处理。而sc.mapPartitions是按RDD分区进行数据统计处理。测试一下：val data = sc.parallelize(1 to 6,3)def mapTest(param1:Int):Int={ println("by map,data... 阅读全文

摘要： val data1 = sc.wholeTextFiles("/opt/test")val data = sc.textFile("/opt/test/")使用textFile时，它的partition的数量是与文件夹下的文件数量相关，一个文件就是一个partition。wholeTextFiles... 阅读全文

摘要： 1、我理解常用的Spark部署方式有三种1）、本地服务，就是所谓的local，在IDE上本地跑程序，用于调试2）、Standalone，使用自己的master/worker进行服务的调度。 脱离yarn的资源管理3）、Spark on yarn。 使用yarn来进行资源的调度2、在spark-env... 阅读全文

摘要： 想把linux时钟调整的正常了。 网上找了找资料，找到了同步办法：http://blog.51yip.com/server/1474.html即使用：sudo yum install ntp sudo ntpdate time.nist.gov 然后将定时10分钟执行一次同步时钟*/10 * * ... 阅读全文

摘要： 编译其实是按照官方文档进行的，比较简单，文档地址是：http://spark.apache.org/docs/latest/building-spark.html编译命令最终是：先要执行：export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:Reser... 阅读全文

摘要： 说实话，找了好半天的资料，也许是我的IDEA版本太高了网上资料稀缺，所以愣是没有找到打包的方法，只是自己瞎琢磨了，还好搞出来了，记录一下。说文字说一下大概流程，其实很简单：创建配置文件->创建配置文件时选择使用maven->添加maven运行的命令，通常打包使用clean package->保存配置... 阅读全文

摘要： 如图： 阅读全文

摘要： 这个其实是转自杭州第三次spark meetingup，华为的李昆大神的分享。 OLAP分析场景ORCFileParquetFileCubeFileFullscanonedimensionFastFastMedian(LowCardinality)(只扫需要的列)(只扫需要的列)(只扫需要的列... 阅读全文

摘要： 在CM配置管理中的"hive-site.xml 的 Hive 客户端高级配置代码段（安全阀）""仅适用于高级使用，逐个将字符串插入hive-site.xml的客户端配置。"举的是hive的例子，其它项目中也是在类似字段添加属性。 添加个截图吧，截图如下： 阅读全文

摘要： /usr/local/redis/bin/redis-cli -h xx.xx.xx.xx KEYS "*floor*" | xargs /usr/local/redis/bin/redis-cli DEL 阅读全文