上一页 1 ··· 12 13 14 15 16 17 18 19 20 ··· 22 下一页
2018年3月2日
datanode与namenode的通信
摘要： 在分析DataNode时, 因为DataNode上保存的是数据块, 因此DataNode主要是对数据块进行操作. A. DataNode的主要工作流程1. 客户端和DataNode的通信: 客户端向DataNode的`数据块读写`, 采用TCP/IP流接口(DataXceiver)进行数据传输 2. 阅读全文
posted @ 2018-03-02 11:35 硅谷工具人 阅读(1291) 评论(0) 推荐(0) 编辑
Yarn NodeManager restart
摘要： 一、介绍默认Yarn NodeManager重启后会断开所有当前正在运行的container的状态，这意味着重启后需要重新启动container进程，该特性的作用就是把NM的状态临时保存到本地，重启后从之前的状态恢复运行。 二、配置 配置以下三个参数到conf/yarn-site.xml中1、yar 阅读全文
posted @ 2018-03-02 11:02 硅谷工具人 阅读(2885) 评论(0) 推荐(0) 编辑
hadoop上线和下线节点
摘要： 在运行中的ambari hadoop集中中动态添加或删除节点 1. 下线节点1) namenode节点上dfs.exclude文件，看配置文件怎么配置的，里每行添加一个服务器名，如我要下线server7,server8,server9,则如下：server7server8 resourcemanag 阅读全文
posted @ 2018-03-02 09:18 硅谷工具人 阅读(3190) 评论(1) 推荐(0) 编辑
2018年2月28日
Spark读取文件
摘要： spark默认读取的是hdfs上的文件。 如果读取本地文件，则需要加file:///usr/local/spark/README.md。 (测试时候发现，本地文件必须在spark的安装路径内部或者平行) 读取hdfs文件, 可以这样指定路径 hdfs://ns1/tmp/test.txt。 如果不指 阅读全文
posted @ 2018-02-28 11:54 硅谷工具人 阅读(18582) 评论(0) 推荐(1) 编辑
2018年2月27日
eclipse安装中文补丁包
摘要： 第一步：打开http://www.eclipse.org/babel/ 第二步：找到downloads。 第三步：点击Oxygen。 第四步：找到简体中文的zip插件并兵下载。 第五步：解压。 第六步：放入eclipse安装目录下的dropins文件夹中，重启eclipse即可。 第二步：找到dow 阅读全文
posted @ 2018-02-27 13:37 硅谷工具人 阅读(12794) 评论(1) 推荐(2) 编辑
2018年2月26日
eclipse中maven打包
摘要： 第一种方式：将依赖包打包进一个jar包中。 第二种方式： 将依赖包单独放到lib文件夹中 阅读全文
posted @ 2018-02-26 16:36 硅谷工具人 阅读(1351) 评论(0) 推荐(0) 编辑
2018年2月25日
(转) eclipse安装lombok
摘要： lombok的官方网址：http://projectlombok.org/ 1. lombok的安装： 使用lombox是需要安装的，如果不安装，IDE则无法解析lombox注解，有两种方式可以安装lombok； ①. 在命令行中执行 java -jar lombox.jar包的位置，比如：java 阅读全文
posted @ 2018-02-25 11:47 硅谷工具人 阅读(25304) 评论(0) 推荐(3) 编辑
2018年2月12日
springboot集成AOP管理日志
摘要： 如何将所有的通过url的请求参数以及返回结果都输出到日志中？ 如果在controller的类中每个方法名都写一个log输出肯定是不明智的选择。 使用spring的AOP功能即可完成。 1. 在pom.xml中添加aspect依赖包。 2. 添加全局的WebLogAspect类。 最后测试添加用户，则 阅读全文
posted @ 2018-02-12 00:14 硅谷工具人 阅读(7131) 评论(0) 推荐(0) 编辑
2018年2月11日
springboot日志管理+集成log4j
摘要： sprongboot使用的默认日志框架是Logback。 可以在application.properties配置简单日志属性，也可以单独配置logback.xml格式，还可以使用log4j来管理。 下面分别介绍自带的日志配置以及如何使用log4j来作为日志管理。 1 .自带日志管理配置： 1.1 修 阅读全文
posted @ 2018-02-11 23:02 硅谷工具人 阅读(26148) 评论(1) 推荐(0) 编辑
flume中Source
摘要： Spooling Directory Source: 以下2组参数解释： fileHeader及fileHeaderKey：fileHeader是个布尔值，可配置为true或者false，表示在flume读取数据之后，是否在封装出来的event中将文件名添加到event的header中。fileHe 阅读全文
posted @ 2018-02-11 11:30 硅谷工具人 阅读(2065) 评论(0) 推荐(1) 编辑
spingboot集成jpa(一）
摘要： springboot + jpa 练习 1. pom.xml中添加依赖 2. application.propertis添加配置 3. 实体类User.java创建 4. dao层创建UserDao.java继承JpaRepository 5. service层创建查询方法，并装备dao中的方法 U 阅读全文
posted @ 2018-02-11 01:33 硅谷工具人 阅读(205) 评论(0) 推荐(0) 编辑
2018年2月10日
springboot集成mybatis
摘要： 1. pom.xml中添加依赖包 2. 配置文件application.properties添加jdbc连接方式 3. 添加mapper(注解方式) 4. controller中注入mapper 5. 启动程序app中添加mapper包扫描 阅读全文
posted @ 2018-02-10 20:37 硅谷工具人 阅读(208) 评论(0) 推荐(0) 编辑
springboot集成jdbcTemplate
摘要： 这里使用springboot自带的jdbcTemplate连接mysql数据库 1. 添加依赖包 2. 在配置文件application.properties中添加jdbc的连接配置 3. 在service层的实现类中使用如下方式查询 4. 在启动类中加入包的扫描 阅读全文
posted @ 2018-02-10 19:21 硅谷工具人 阅读(537) 评论(0) 推荐(0) 编辑
springboot集成jsp
摘要： springboot官方推荐使用模板进行前端页面的展示，但是不排除项目中也会使用jsp。 使用jsp时，需要进行一下配置： 1. 使用maven创建的项目中packing选用war包 如果没有选对，也可以在pom.xml的项目信息中直接修改。 2. 在pom.xml中添加依赖 除了spring-bo 阅读全文
posted @ 2018-02-10 18:32 硅谷工具人 阅读(231) 评论(0) 推荐(0) 编辑
springboot集成模板引擎freemarker和thymeleaf
摘要： freemarkder和thymeleaf都是java的模板引擎，这里只介绍这两种模板引擎如何在sprongboot中配置： 1. freemarkder 1.1 在pom.xml中添加依赖包 1.2 在配置文件application.properties中添加配置 2. thymeleaf 2.1 阅读全文
posted @ 2018-02-10 17:33 硅谷工具人 阅读(1502) 评论(0) 推荐(0) 编辑
2018年2月5日
百度JS模板引擎
摘要： 1. 应用场景 前端使用的模板系统 或 后端Javascript环境发布页面 2. 功能描述 提供一套模板语法，用户可以写一个模板区块，每次根据传入的数据，生成对应数据产生的HTML片段，渲染不同的效果。 3. 特性 1）、语法简单，学习成本极低，开发效率提升很大，性价比较高（使用Javascrip 阅读全文
posted @ 2018-02-05 18:45 硅谷工具人 阅读(3931) 评论(0) 推荐(0) 编辑
2018年1月31日
oozie调度中的重试和手工rerun一个workflow
摘要： 在oozie中有Bundle、Coordinator和Workflow三种类型的job，他们之间可以有以下包含关系。 Bundle > Coordinator > Workflow。 1. 重新运行一个Coordinator job，可以通过如下命令： 2. 如果只想重新运行一个workflow j 阅读全文
posted @ 2018-01-31 11:25 硅谷工具人 阅读(2667) 评论(0) 推荐(0) 编辑
2018年1月30日
oozie中时间EL表达式
摘要： EL表达式： 常用表达式： 昨天: ${coord:formatTime(coord:dateOffset(coord:nominalTime(),-1,'DAY'),'yyyy-MM-dd')} 上月: ${coord:formatTime(coord:dateOffset(coord:nomin 阅读全文
posted @ 2018-01-30 14:24 硅谷工具人 阅读(2845) 评论(0) 推荐(0) 编辑
2018年1月28日
SpringBoot-hello world
摘要： 本节内容包含SpringBoot的开发环境配置以及第一个HelloWorld 准备环境：jdk1.8 + maven3.3.9 + eclipse 1. 新建Maven项目 2. 修改pom.xml文件 引入父类包以及spring-web的依赖包 3. 在src/main/java目录下创建cont 阅读全文
posted @ 2018-01-28 22:31 硅谷工具人 阅读(207) 评论(0) 推荐(0) 编辑
2018年1月26日
oozie开发注意事项
摘要： ooziejob执行后 1. job.properties、coordinatior.xml中设置的值都是不可变的，除非将job kill掉，然后重新调度。 2. workflow.xml、script.q等文件可以通过rerun来重新刷新配置 所以在开发时，尽量将公共变量放到coordinator 阅读全文
posted @ 2018-01-26 14:26 硅谷工具人 阅读(528) 评论(0) 推荐(0) 编辑
上一页 1 ··· 12 13 14 15 16 17 18 19 20 ··· 22 下一页
成功之道，在于每个人生阶段都要有不同的目标，并且通过努力实现自己的目标，毕竟人生不过百年! 所有奋斗的意义在于为个人目标实现和提升家庭幸福，同时能推进社会进步和国家目标! 正如古人讲的正心诚意格物致知，修身齐家治国平天下。