2020年7月8日
Hadoop中MapReduce流程简单总结
摘要： 题记： 本博文主要描述MapReduce的流程，以及可以自定义的一些部分 hadoop中reducemap的东西实在有点多，就想着自己简单的整理一下 MapTask ①读取数据： 这一阶段主要是读取待处理的文本数据，如Sprak、HDFS、Hive的数据， 默认是使用TextInputFormat, 阅读全文
posted @ 2020-07-08 23:44 若冲 阅读(493) 评论(0) 推荐(1) 编辑
网站变成黑白模式
摘要： html{ -webkit-filter: grayscale(100%); -moz-filter: grayscale(100%); -ms-filter: grayscale(100%); -o-filter: grayscale(100%); filter:progid:DXImageTra 阅读全文
posted @ 2020-07-08 11:43 若冲 阅读(147) 评论(0) 推荐(0) 编辑
2020年7月6日
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
摘要： 在windows 环境下运行hadoop会报错， 解决方案：产生上述错误的原因是由于你本地的hadoop版本与lib文件中你替换的编译hadoop.dll版本不对应导致的 下载对应版本的hadoop和winutil.exe放到 就可以了,免费下载连接 阅读全文
posted @ 2020-07-06 11:44 若冲 阅读(269) 评论(0) 推荐(0) 编辑
2020年7月1日
Apache Hadoop的重要组成部分
摘要： Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算框架)+Yarn(资源调度框架)+Common框架 1.Hadoop HDFS:(Hadoop Distribute File System) 一个高可靠、高吞吐量的分布式文件系统比如：100T数据存储， 比如：100T数据存储 阅读全文
posted @ 2020-07-01 10:56 若冲 阅读(39) 评论(0) 推荐(0) 编辑
2020年6月30日
大数据的简介
摘要： 大数据的定义 大数据是指无法在一定时间范围内用常规软件工具无法捕捉、管理和处理的数据集合，是需要处理模式才能具有更强的决策力、洞察发现力、和流程优化能力的海量、高增长率和多样化的信息资产。 大数据的特点 大数据的特点可以用 IBM 曾经提出的 “5V” 来描述，如下： 大量 Volume 采集、存储 阅读全文
posted @ 2020-06-30 23:08 若冲 阅读(354) 评论(0) 推荐(0) 编辑
Hadoop框架基础
摘要： 什么是Hadoop Hadoop 是一个适合大数据的分布式存储和计算平台。 Hadoop有广义与狭义之分: 狭义的Hadoop: 指的是一个框架，Hadoop是由三部分组成： HDFS:分布式文件系统--》存储；MapReduce:分布式离线计算框架--》计算；Yarn:资源调度框架 广义的Hado 阅读全文
posted @ 2020-06-30 21:56 若冲 阅读(157) 评论(0) 推荐(0) 编辑
2020年6月28日
tomcat服务器部署多个项目，访问不到，webAppRootKey
摘要： 需要在每个项目的web-info的web.xml中添加 <context-param> <param-name>webAppRootKey</param-name> <param-value>webapp.项目名</param-value> </context-param> 如： <context- 阅读全文
posted @ 2020-06-28 12:47 若冲 阅读(310) 评论(0) 推荐(0) 编辑
2020年6月23日
linux impdp 出现 bash: impdp: 未找到命令...
摘要： 出现问题原因，环境变量为加载 解决办法： 1.进入 oracle 执行 source ~/.bash_profile 缺点在于 每次都要执行一遍 2.第二种是修改配置 转载 https://yq.aliyun.com/articles/551896 只是为了记录，怕自己遗忘 阅读全文
posted @ 2020-06-23 14:26 若冲 阅读(5136) 评论(0) 推荐(1) 编辑
oracle impdp 出错 ORA-31655: no data or metadata objects selected for job ORA-39154:
摘要： 出现问题： impdp 导入时报错语句：impdp xxx/xxx@127.0.0.170/orcl directory=DPDATA dumpfile=20200623data.DMP full=y ; Connected to: Oracle Database 12c Enterprise Ed 阅读全文
posted @ 2020-06-23 14:19 若冲 阅读(1579) 评论(0) 推荐(0) 编辑
2020年6月5日
lamda表达式对list排序以及分组
摘要： // 每一个学生 @getter @setter class ItemVo{ private String name; private Integer age; private String calss; } // 原list List<ItemVo> itemList=hospitalReadMa 阅读全文
posted @ 2020-06-05 15:34 若冲 阅读(1032) 评论(0) 推荐(0) 编辑