晋心

摘要： hive.optimize.cp=true：列裁剪hive.optimize.prunner：分区裁剪hive.limit.optimize.enable=true：优化LIMIT n语句hive.limit.row.max.size=1000000：hive.limit.optimize.limi... 阅读全文

摘要： 1. MapReduce与mysql连接总结应用场景： 在项目中会遇到输入结果集很大，但是输出结果很小，比如一些 pv、uv 数据，然后为了实时查询的需求，或者一些 OLAP 的需求，我们需要 mapreduce 与 mysql 进行数据的交互，而这些是 hbase 或者 hive 目前亟待改进的... 阅读全文

摘要： 极客学院 W3School JS Bin 工厂模式 POM讲解 前端调试技巧 Spring依赖注入 依赖注入 控制反转依赖注入 控制反转设计模式 集合注入集合注入NOSQL与SQL Spring Bean 注入filter过滤链 可伸缩WebMARKDOWN JSFiddleHiChartsBoo... 阅读全文

摘要： final 用于声明属性、方法和类，分别表示属性不可变，方法不可重写，类不可继承。其实可以参考用easyui的tree 和 ztree参考： https://www.jstree.com/demo/ https://www.jstree.com/plugins/ 菜... 阅读全文

摘要： 在hive中操作任意mapreduce相关语句The size of Container logs revealed the below error:2015-04-24 11:41:41,858 WARN [main] org.apache.hadoop.mapred.MapTask: Unabl... 阅读全文

摘要： 在这里我们不需要搭建独立的Spark集群，利用Yarn Client调用Hadoop集群的计算资源。Spark源码编译生成配置包：解压源码，在根去根目录下执行以下命令(sbt编译我没尝试) ./make-distribution.sh --hadoop 2.4.0 --with-yarn --t... 阅读全文

摘要： 首先要对源码进行编译，生成对应hadoop版本的spark开发程序jar包，上篇已经写了具体的过程，这里不再赘述。在安装spark的机器上，下载eclipse-java-x86_64版本，将spark-assembly.jar和spark/lib下全部加进路径，建立普通java projectWor... 阅读全文

摘要： 1)连接Oracle 8/8i/9i/10g/11g（thin模式）Class.forName("oracle.JDBC.driver.OracleDriver").newInstance();String url="JDBC:oracle:thin:@localhost:1521:orcl" //... 阅读全文

摘要： Spark SQL 1.3参考官方文档：Spark SQL and DataFrame Guide概览介绍参考：平易近人、兼容并蓄——Spark SQL 1.3.0概览 DataFrame提供了一条联结所有主流数据源并自动转化为可并行处理格式的渠道，通过它Spark能取悦大数据生态链上的所有玩家，... 阅读全文

摘要： Spark SQL 1.2运行原理case class方式json文件方式背景：了解到HDP也能够支持Spark SQL，但官方文档是版本1.2，希望支持传统数据库、hadoop平台、文本格式的整合处理 虚线表示还未实现。支持从现有Apache Hive表以及流行的Parquet列式存储格式中读取... 阅读全文