hadoop之join链接

摘要： 1、数据量大; 2、数据量小，可直接内存加载 阅读全文
posted @ 2017-06-02 01:44 艺海浮台 阅读(148) 评论(0) 推荐(0) 编辑

hadoop之数据倾斜

摘要： 数据倾斜 1.产生原因 大量的key进入到了一个或者是少数的几个reduce. 2.解决办法： 1.重新设计key； 2.设计分区类 随机分区 (常用）； 3.自定义Shuffle机制。 实例： 阅读全文
posted @ 2017-06-02 01:39 艺海浮台 阅读(198) 评论(0) 推荐(0) 编辑

hadoop常用命令，脚本分析，服务启动，系统配置

摘要： ClassLoader 类加载器。 将.class文件加载内存中，内存中的method area。 类的静态代码块在加载期间调用(初始化类),可以手动设置不初始化. ClassLoader.getSystemClassLoader(); ssh权限问题 1.~/.ssh/authorized_key 阅读全文
posted @ 2017-05-26 00:27 艺海浮台 阅读(3760) 评论(0) 推荐(0) 编辑

Idea、maven的安装、配置

摘要： 安装idea 1.下载ideaIU-2016.3.2.exe 2.以管理员身份安装 3.搭建licence服务器 运行IntelliJIDEALicenseServer_windows_amd64.exe程序，启动http://127.0.0.1:41017服务地址。 4.启动idea。 5.注册地 阅读全文
posted @ 2017-05-26 00:13 艺海浮台 阅读(316) 评论(0) 推荐(0) 编辑

屏幕广播

摘要： 1、服务器端 2、客户端 3、工具类 阅读全文
posted @ 2017-05-17 21:32 艺海浮台 阅读(212) 评论(0) 推荐(0) 编辑

多线程下载

摘要： public class DownloadUI extends JFrame { public static void main(String[] args) { new DownloadUI(); } private JLabel lblUrl; private JLabel lblLocalPath; private JLabel l... 阅读全文
posted @ 2017-05-17 21:24 艺海浮台 阅读(140) 评论(0) 推荐(0) 编辑

UDP传输案例

摘要： 1 /** 2 * 发送方 3 */ 4 public class DataGramSender { 5 6 public static void main(String[] args) { 7 try { 8 //9999向外发的端口号 9 DatagramSocket socket = new D... 阅读全文
posted @ 2017-05-11 21:18 艺海浮台 阅读(209) 评论(0) 推荐(0) 编辑

Centos7迷你版插件安装及配置

摘要： ubuntu apt //advanced package tool,高级包工具。 apt-get install centos yum //yellowdog updater modified. URL中的？是指查询串 软件源 Repository //仓库. URL //http:// .d / 阅读全文
posted @ 2017-05-10 16:50 艺海浮台 阅读(1285) 评论(0) 推荐(0) 编辑

shell脚本

摘要： 编写脚本 while循环实现99乘法表. 阅读全文
posted @ 2017-05-07 23:30 艺海浮台 阅读(196) 评论(0) 推荐(0) 编辑

hadoop环境搭建

摘要： 集群上时间同步：sudo ntpdate time.nist.gov hadoop 开源软件，可靠的、分布式、可伸缩的。 大数据 去IOE IBM //ibm小型机. Oracle //oracle数据库服务器 RAC EMC //EMC共享存储设备。 Cluster 集群。 1T = 1024G 阅读全文
posted @ 2017-05-06 10:32 艺海浮台 阅读(3026) 评论(1) 推荐(0) 编辑
下一页