一脸懵逼学习Hadoop中的MapReduce程序中自定义分组的实现
摘要：1：首先搞好实体类对象： write 是把每个对象序列化到输出流，readFields是把输入流字节反序列化，实现WritableComparable，Java值对象的比较：一般需要重写toString(),hashCode(),equals()方法 2：流量分区处理操作的步骤： 2. 1：对流量原
阅读全文
posted @
2017-09-25 17:40
别先生
阅读(899)
推荐(0) 编辑
一脸懵逼学习Struts数据校验以及数据回显，模型驱动，防止表单重复提交的应用。
摘要：1：Struts2表单数据校验： （1）前台校验，也称之为客户端校验，主要是通过Javascript编程的方式进行数据的验证。 （2）后台校验，也称之为服务器校验，这里指的是使用Struts2通过xml配置的方式进行表单数据的校验。 （3）代码方式验证Action中所有的方法；代码方式验证Actio
阅读全文
posted @
2017-09-24 17:47
别先生
阅读(499)
推荐(0) 编辑
一脸懵逼学习Hadoop中的序列化机制——流量求和统计MapReduce的程序开发案例——流量求和统计排序
摘要：一：序列化概念 序列化（Serialization）是指把结构化对象转化为字节流。反序列化（Deserialization）是序列化的逆过程。即把字节流转回结构化对象。Java序列化（java.io.Serializable） 二：Hadoop序列化的特点 （1）：序列化格式特点： 紧凑：高效使用存
阅读全文
posted @
2017-09-20 09:45
别先生
阅读(1611)
推荐(0) 编辑
一脸懵逼学习MapReduce的原理和编程（Map局部处理，Reduce汇总）和MapReduce几种运行方式
摘要：1：MapReduce的概述： （1）：MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题. （2）：MapReduce由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。 （3）：
阅读全文
posted @
2017-09-18 15:03
别先生
阅读(5584)
推荐(1) 编辑
一脸懵逼学习hadoop之HDFS的java客户端编写
摘要：1：eclipse创建一个项目，然后导入对应的jar包： 鼠标右击项目，点击properties或者alt+enter快捷键 >java build path >libraries >add library >user library >next >user libraries >new >hdfs
阅读全文
posted @
2017-09-11 18:30
别先生
阅读(536)
推荐(0) 编辑
一脸懵逼加从入门到绝望学习hadoop之Caused by: java.net.UnknownHostException: master报错
摘要：windows下开发hadoop应用程序，hadoop部署在linux环境中， 在运行调试时可能会出现无法找到主机，类似异常信息如下： java.net.UnknownHostException: unknown host: master 解决办法如下： 在C:\WINDOWS\system32\d
阅读全文
posted @
2017-09-11 14:39
别先生
阅读(1510)
推荐(0) 编辑
一脸懵逼学习Java操作Excel之POI（Apache POI）
摘要：Apache POI是Apache软件基金会的开放源码函式库，POI提供API给Java程序对Microsoft Office格式档案读和写的功能。 1：下面简单的程序来创建一个空白Microsoft Excel工作簿。 请记住一定要引入jar包，切记：http://poi.apache.org/d
阅读全文
posted @
2017-09-10 13:20
别先生
阅读(1578)
推荐(0) 编辑
一脸懵逼学习oracle（图形化界面操作---》PLSQL图形化界面）
摘要：1：经过几天的折腾，终于将oracle安装成功，创建用户，授权等等操作，接下来就安安心心学习oracle； 安装好PLSQL图形化界面和汉化以后（过程自己百度吧，百度more and more），登录图形化界面的时候就是这个B样； 2：登录成功以后就是这个B样： 左侧有三栏，自己根据需要自己拉查看信
阅读全文
posted @
2017-09-05 17:03
别先生
阅读(15489)
推荐(1) 编辑
一脸懵逼学习oracle
摘要：oracle的默认用户：system，sys，scott； 1：查看登录的用户名：show user； 2：查看数据字典：dba_users; 3：创建新用户 （1）要连接到Oracle数据库，就需要创建一个用户账户； （2）每个用户都有一个默认表空间和一个临时表空间； 创建用户(Create th
阅读全文
posted @
2017-09-04 18:42
别先生
阅读(584)
推荐(0) 编辑
plsql的汉化问题
摘要：1：汉化工具下载地址：https://www.allroundautomations.com/bodyplsqldevreg.html 汉化吗。然后选择chinese就行了； 2：对安装（解压缩好的哦）好的plsql开始汉化： 找到PLSQL的安装目录添加进来
阅读全文
posted @
2017-09-04 18:34
别先生
阅读(754)
推荐(0) 编辑
oracle创建用户和密码以及授权登录问题
摘要：1：使用oracle的命令行登录oracle的方式（安装好以后只有system和sys没有被锁定）： 第一种方式：使用sys的方式登录，密码是安装的时候设置的密码； 第一次用户名为sys,密码为123456会报错； 正确的方式是用户名为sys,密码为123456 as sysdba（注意之间的空格哈
阅读全文
posted @
2017-09-04 15:34
别先生
阅读(20447)
推荐(0) 编辑
oracle安装过程中先决条件检查失败的解决办法
摘要：1：公司数据库开始用的mysql，因为公司做的是保密性项目，所以就在项目日志过多的时候项目有爆炸的迹象啊（3000千万数据，貌似mysql有点撑不住）。然后组长开始让我安装oracle，公司的内网也是醉了，打开oracle官网都打不开。最后还是组长下载好了传给我，让我安装，然而安装的过程中oracl
阅读全文
posted @
2017-09-04 11:36
别先生
阅读(1442)
推荐(0) 编辑
Hadoop的namenode的管理机制，工作机制和datanode的工作原理
摘要：HDFS前言： 1） 设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； 2）在大数据系统中作用： 为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务 3）重点概念：文件切块，副本存放，元数据 4
阅读全文
posted @
2017-09-03 16:58
别先生
阅读(866)
推荐(0) 编辑
linux操作系统中oracle数据库的密码过期问题解决
摘要：1：首先确定linux登录的用户是root 切换到数据库用户 su oracle（切记，如果这里su oracle不可以，那么就使用此命令su - oracle，这个命令切换到数据库用户肯定可以成功。） 2：进入sqlplus，注意 /和 as 之间有空格，否则报错进不去 sqlplus / as
阅读全文
posted @
2017-09-01 16:12
别先生
阅读(5458)
推荐(1) 编辑
hadoop集群运行jps命令以后Datanode节点未启动的解决办法
摘要：出现该问题的原因：在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfs namenode -format)，这时namenode的clusterID会重新生成，而datanode的clusterID 保持不变。 1：其实网上已经有解决办法了，这里自己脑补一下，也可以
阅读全文
posted @
2017-09-01 15:26
别先生
阅读(4037)
推荐(0) 编辑
Hadoop Shell命令（基于linux操作系统上传下载文件到hdfs文件系统基本命令学习）
摘要：Apache-->hadoop的官网文档命令学习：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令
阅读全文
posted @
2017-09-01 14:52
别先生
阅读(40126)
推荐(1) 编辑
