摘要: 最近做一个项目的POC测试,打通了DB2->OGG->KAFKA->SPARK STREAMING->SEQUOIADB整套流程, 完成数据的实时更新,下面讲下kafka的安装kafka的安装需要zookeeper,kafka自己带了zookeeper组件,只要自己配置下config/zoookee... 阅读全文
posted @ 2015-05-22 12:46 高兴的博客 阅读(516) 评论(0) 推荐(0) 编辑
摘要: 我使用3台Centos虚拟机搭建了一个Hadoop2.6的集群。希望在windows7上面使用IDEA开发mapreduce程序,然后提交的远程的Hadoop集群上执行。经过不懈的google终于搞定 开始我使用hadoop的eclipse插件来执行job,竟然成功了,后来发现mapreduce是在 阅读全文
posted @ 2015-04-29 20:04 高兴的博客 阅读(11993) 评论(0) 推荐(0) 编辑
摘要: 1:安装配置mysql yum install mysql mysql-server service mysqld start mysqladmin -u root password newpassword mysql -u root -p 登录mysql mysql>GRANT ALL PRIVI 阅读全文
posted @ 2015-04-10 18:25 高兴的博客 阅读(3556) 评论(3) 推荐(0) 编辑
摘要: 开发环境 操作系统:windows 开发工具:IntelliJ IDEA 14.1.1 需要安装scala插件 编译环境:jdk 1.7 scala 2.10.4 使用IDEA开发spark应用 1:新建scala项目: 2:选择scala版本,需要spark的scala版本对应 点击上图Scala 阅读全文
posted @ 2015-04-10 13:38 高兴的博客 阅读(15146) 评论(0) 推荐(2) 编辑
摘要: Channel是一个网络端口连接,或者是可以进行读,写,链接,绑定端口的组件的连接。 Channel就是一个链接,它提供了如下的功能。 1:获取当前链接的状态 2:配置当前链接参数 3:进行read,write,connect,bind等通道支持的操作。 4:该Channel关联的ChannelPi 阅读全文
posted @ 2015-04-08 11:09 高兴的博客 阅读(844) 评论(0) 推荐(0) 编辑
摘要: 先看下Future的整个继承体系,还有一个ChannelFuture不在里面; 在并发编程中,我们通常会用到一组非阻塞的模型:Promise,Future 和 Callback。其中的 Future 表示一个可能还没有实际完成的异步任务的结果,针对这个结果可以添加 Callback 以便在任务执行成 阅读全文
posted @ 2015-04-08 10:55 高兴的博客 阅读(3827) 评论(0) 推荐(0) 编辑
摘要: Netty的服务端怎么和java NIO联系起来的,一直很好奇这块内容,这里跟下代码,下篇文章看下Channel相关的知识。 finalChannelFuture initAndRegister(){ finalChannel channel = channelFactory().newChanne 阅读全文
posted @ 2015-04-08 10:54 高兴的博客 阅读(7305) 评论(0) 推荐(0) 编辑
摘要: AbstractBootstrap是一个工具类,用来配置和启动Channel的,下面看下AbstractBootstrap的类继承,ServerBootstrap用于启动ServerChannel的,是服务端的工具类,Bootstrap是用于启动Channel,是客户端的工具类,bind用于udp等 阅读全文
posted @ 2015-04-01 18:54 高兴的博客 阅读(2300) 评论(0) 推荐(0) 编辑
摘要: Email asdfasfd Email 用户名 好久没用jquery了,写的很烂,但是大致逻辑实现了,希望哪位能优化下 阅读全文
posted @ 2015-03-31 15:02 高兴的博客 阅读(954) 评论(0) 推荐(0) 编辑
摘要: lvm是逻辑卷管理的简称,它将一个或多个物理硬盘分区(PV)组成一个逻辑硬盘(VG)来使用, 然后从这个VG中划分出逻辑分区(LV), 以上概念是我理解的东西,可能和书上的不一样。 以下所有命令都是在CENTOS6.5上进行操作的 1:对磁盘进行分区 使用fdisk对磁盘进行分区。注意分区的格式,L 阅读全文
posted @ 2015-03-28 17:08 高兴的博客 阅读(625) 评论(0) 推荐(0) 编辑