09 2016 档案
摘要：介绍 sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。你可以通过sqoop把数据从数据库（比如mysql,oracle）导入到hdfs中；也可以把数据从hdfs中导出到关系型数据库中。sqoop通过Hadoop的MapReduce导入导出，因此提供了很高的并行性能以及良好的容错
阅读全文
摘要：本节主要涉及Object中通用的一些方法，比如 ,`hashCode toString clone finalize`等等 覆盖equals时请遵守通用约定 equals方法实现的等价关系： 自反性：对于所有的非null，a=a 对称性：a=b,则b=a 传递性：a=b,b=c,则a=c 一致性：对
阅读全文
摘要：本篇主要总结的是《Effecticve Java》中关于创建和销毁对象的内容。 比如： 何时以及如何创建对象 何时以及如何避免创建对象 如何确保及时销毁 如何管理对象销毁前的清理动作 考虑用静态工厂方法代替构造器 使用静态工厂的优势： 有名称 不必每次调用的时候都创建一个新的对象 返回原返回类型的任
阅读全文
摘要：如果直接使用Elasticsearch的朋友在处理中文内容的搜索时，肯定会遇到很尴尬的问题——中文词语被分成了一个一个的汉字，当用Kibana作图的时候，按照term来分组，结果一个汉字被分成了一组。 这是因为使用了Elasticsearch中默认的标准分词器，这个分词器在处理中文的时候会把中文单词
阅读全文
摘要：这本书在Java开发的行业里，颇有名气。今天总算是粗略的看完了...后面线程部分和序列化部分由于心浮气躁看的不仔细。这个月还剩下一周，慢慢总结消化。
阅读全文
摘要：先说说需求的背景，由于业务数据都在Oracle数据库中，想要对它进行数据的分析会非常非常慢，用传统的数据仓库 数据集市这种方式，集市层表会非常大，查询的时候如果再做一些group的操作，一个访问需要一分钟甚至更久才能响应。 为了解决这个问题，就想把业务库的数据迁移到Elasticsearch中，然后
阅读全文
摘要：设想一下，当你的系统引入了spark或者hadoop以后，基于Spark和Hadoop已经做了一些任务，比如一连串的Map Reduce任务，但是他们之间彼此右前后依赖的顺序，因此你必须要等一个任务执行成功后，再手动执行第二个任务。是不是很烦！ 这个时候Oozie（驯象人，典故来自评论一楼）就派上用
阅读全文
摘要：本篇文档是介绍如何快速使用spark，首先将会介绍下spark在shell中的交互api，然后展示下如何使用java,scala,python等语言编写应用。可以查看 "编程指南" 了解更多的内容。 为了良好的阅读下面的文档，最好是结合实际的练习。首先需要 "下载spark" ,然后安装hdfs，可
阅读全文
摘要：
阅读全文
摘要：Sqoop是一款用于把关系型数据库中的数据导入到hdfs中或者hive中的工具，当然也支持把数据从hdfs或者hive导入到关系型数据库中。 Sqoop也是基于Mapreduce来做的数据导入。 关于sqoop的原理 sqoop的原理比较简单，就是根据用户指定的sql或者字段参数，从数据库中读取数据
阅读全文
摘要：存储过程是保存可以接受或返回用户提供参数的SQL语句集合。在日常的使用中，经常会遇到复杂的业务逻辑和对数据库的操作，使用存储过程可以进行封装。可以在数据库中定义子程序，然后把子程序存储在数据库服务器，之后通过名称调用。 特点 1 提高性能 存储过程是预先编译过，进行优化后，存储在SQL的内存中，使用
阅读全文
摘要：早晨起得太早，昨晚睡得太晚，一天都迷迷糊糊的。中午虽然睡了半个小时，可是依然没有缓过来。整个下午都在混沌中....不过今天下载了一款手游——《剑侠情缘》，感觉不错，喜欢这种类型的游戏。 今天主要的工作还是做业务需求，不过下午状态不好，看了下《Effective java》，正好重构了下代码。 eff
阅读全文
摘要：今天在编写mybatis的mapper.xml时，发现对sql的配置还不是很熟，有很多一坨一坨的东西，其实是可以抽取成服用的。不过良好的组织代码，还是更重要的。
阅读全文
摘要：这章讲述了Spark编程中的高级部分，比如累加器和广播等，以及分区和管道...
阅读全文
摘要：今天大部分时间都在写业务代码，然后算是从无到有的配置了下spring与mybatis的集成。 SpringMVC+Mybatis Web开发流程 配置数据源 在applicationContext.xml中引入数据源的配置： 在spring my datasource.xml中配置数据源相关的内容：
阅读全文
摘要：由于Spark是在Hadoop家族之上发展出来的，因此底层为了兼容hadoop,支持了多种的数据格式。如S3、HDFS、Cassandra、HBase，有了这些数据的组织形式，数据的来源和存储都可以多样化~
阅读全文
摘要：周日没怎么休息好，周一一天都迷迷糊糊的，不过还算是干了不少的活。 总结一下，大致有以下几点内容： 1 使用poi以及mysql jdbc实现了一个复杂excel的导入 2 基于工程原有的代码，书写spring mvc的业务代码以及测试用例 使用POI以及jdbc POI是用于处理excel文件很常用
阅读全文
摘要：
阅读全文
