cac2020

2018年12月19日

摘要：环境 VMware 10 CentOS-6.5-x86_64 第一步：查看IP信息linux:ifconfig (windows:ipconfig) 第二步：编辑网卡信息 vi /etc/sysconfig/network-scripts/ifcfg-eth0 (1)删除UUID和HWADDR（MA 阅读全文

posted @ 2018-12-19 20:28 cac2020 阅读(1266) 评论(0) 推荐(0) 编辑

【安装虚拟机二】安装虚拟机

摘要：安装软件 VMware 10 CentOS-6.5-x86_64-minimal.iso 安装步骤：第一步：第二步：安装首界面选择第一个第三步：跳过磁盘扫描第四步：点击 Next 第五步：语言选择English 第六步：设置键盘类型第七步：存储设置第八步：清空虚拟磁盘第九步：设置主机阅读全文

posted @ 2018-12-19 19:24 cac2020 阅读(179) 评论(0) 推荐(0) 编辑

【安装虚拟机一】配置VMware

摘要：安装软件 VMware 10 CentOS-6.5-x86_64-minimal.iso 第一步：打开VMware 10 主页选择 “创建新的虚拟机” 第二步：选择自定义设置第三步：设置虚拟机兼容性，默认即可第四步：设置安装操作系统的ISO 可以稍后设置第五步：设置操作系统类型和版本这里安阅读全文

posted @ 2018-12-19 19:08 cac2020 阅读(251) 评论(0) 推荐(0) 编辑

2018年10月30日

浏览器页面请求js、css大文件处理

摘要：当页面引用一个比较大的js和css文件时，会出现较大下载延迟，占用带宽的问题，如果一个应用里有很多这样的js或CSS文件，那么就需要优化了。比如ext-all.js有1.4M，页面引用这个文件，正常引用如下： HTTP中响应头（Response Headers）属性content-Encoding 阅读全文

posted @ 2018-10-30 16:05 cac2020 阅读(1294) 评论(0) 推荐(1) 编辑

2018年10月29日

大数据处理框架之Strom：redis storm 整合

摘要： storm 引入redis ,主要是使用redis缓存库暂存storm的计算结果，然后redis供其他应用调用取出数据。新建maven工程 pom.xml Topology spout StormRedisBolt 阅读全文

posted @ 2018-10-29 14:34 cac2020 阅读(831) 评论(0) 推荐(0) 编辑

大数据处理框架之Strom：kafka storm 整合

摘要： storm 使用kafka做数据源，还可以使用文件、redis、jdbc、hive、HDFS、hbase、netty做数据源。新建一个maven 工程： pom.xml KafkaTopology 阅读全文

posted @ 2018-10-29 14:15 cac2020 阅读(1311) 评论(0) 推荐(0) 编辑

2018年10月26日

大数据处理框架之Strom:容错机制

摘要： 1、集群节点宕机Nimbus服务器单点故障，大部分时间是闲置的，在supervisor挂掉时会影响，所以宕机影响不大，重启即可非Nimbus服务器故障时，该节点上所有Task任务都会超时，Nimbus会将这些Task任务重新分配到其他服务器上运行 2、进程挂掉Worker 挂掉时，Supervi 阅读全文

posted @ 2018-10-26 17:31 cac2020 阅读(572) 评论(0) 推荐(0) 编辑

大数据处理框架之Strom: Storm拓扑的并行机制和通信机制

摘要：一、并行机制 Storm的并行度，通过提高并行度可以提高storm程序的计算能力。 1.组件关系：Supervisor node物理节点,可以运行1到多个worker,不能超过supervisor.slots.ports数量；worker：工作进程，即jvm.为特定拓扑的一个或者多个组件Spout 阅读全文

posted @ 2018-10-26 15:21 cac2020 阅读(332) 评论(0) 推荐(0) 编辑

大数据处理框架之Strom: Storm----helloword

摘要：大数据处理框架之Strom: Storm helloword Storm按照设计好的拓扑流程运转，所以写代码之前要先设计好拓扑图。这里写一个简单的拓扑：第一步：创建一个拓扑类含有main方法的类型，作为程序入口：第二步：创建数据源类方式一：继承backtype.storm.topology.ba 阅读全文

posted @ 2018-10-26 11:01 cac2020 阅读(551) 评论(0) 推荐(0) 编辑

2018年10月25日

大数据处理框架之Strom:Storm集群环境搭建

摘要：搭建环境 Red Hat Enterprise Linux Server release 7.3 (Maipo) zookeeper-3.4.11 jdk1.7.0_80 Python 2.7.5 (https://www.cnblogs.com/kimyeee/p/7250560.html) 集群阅读全文

posted @ 2018-10-25 17:21 cac2020 阅读(258) 评论(0) 推荐(0) 编辑

公告