cgl_dong

摘要： 大数据实践（五）--Zookeeper集群搭建（Ubuntu） 一、简介 Zookeeper 是一个开源的分布式协调服务，目前由 Apache 进行维护。Zookeeper 可以用于实现分布式系统中常见的发布/订阅、负载均衡、命令服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式 阅读全文

摘要： 大数据实验（四）MapReduce编程实践（Ubuntu) 前置工具及环境 Ubuntu 16.4 VirtualBox Hadoop 2.7.3 jdk1.8 一、MapReduce简介 MapReduce是Hadoop提供的一个分布式计算框架，MapReduce 作业通过将输入的数据集拆分为独立 阅读全文

摘要： Scala开发坏境设置(IDEA) 1、下载scala开发环境 进入scala官网，下载相关安装包。 https://www.scala lang.org/ 下拉看到相应选项：windows可以选择msi或者zip版本。 2、配置环境变量 选择msi版不需要配置，跳过。 zip版本解压，将scala 阅读全文

摘要： 大数据实践（三） Hadoop集群搭建（Ubuntu） 前置环境 原单机配置前置环境： hadoop2.7.3 Ubuntu16 VirtualBox jdk1.8 还需要yarn管理集群 [TOC] 001、整体路线 使用虚拟机搭建三个节点，分别名为master、node2、node3. 由于我的 阅读全文

摘要： 大数据实践（二） Hdfs常见操作及Hbase安装 前置工具及环境 Ubuntu 16 VirtualBox Hadoop 2.7.3 hbase 一、Hdfs常见操作 Hdfs大部分操作和shell命令都是共通的。 001、启动hdfs辅助进程 002、创建、删除、查看目录 003、上传下载 pu 阅读全文

摘要： 大数据实践（一） Hadoop单机搭建（Ubuntu） 前置环境及工具： Ubuntu 16 VirtualBox Hadoop 2.7.3 xftp6 jdk1.8 [TOC] 1、VirtualBox环境准备 001、设置网卡 双网卡：选择桥接模式与仅主机模式。 保证主机与虚拟机之间相互ping 阅读全文

摘要： Python基本语法一览 Python3.7 Windows10 0、特性 1、动态类型。 2、两种模式，交互模式和文件模式。 3、严格的缩进来控制语句范围及顺序。 4、即是面向对象语言也是面向过程语言。 Python中没有，使用缩进来控制语句之间的关系。 一、变量、类型、流程控制、运算符 1.1、 阅读全文

摘要： Java集合之LinkedList源码剖析(jdk1.8) [TOC] 1、简介 LinkedList底层基于双向链表，增删快，插入慢，还可以作为队列或者栈来使用。 继承图谱如下： LinkedList实现了List、Serializable、Cloneable、Deque等接口。 LinkedLi 阅读全文

摘要： Java集合之ArrayList源码剖析(jdk1.8) [TOC] 1、简介 ArrayList是一种以数组实现的List，与数组相比，它具有动态扩展的能力，因此也可称之为动态数组。 查询快，增删慢，线程不安全。 继承图谱如下： ArrayList实现了List, RandomAccess, Cl 阅读全文

摘要： Java Stream流操作 一、Stream概述 Jdk在1.7之后提供了函数式编程，随之而来的还有Stream流。 通过流可以达成链式操作。 Stream这里的流与IO流毫无关系，这里的流指的是流式操作，就是流水线操作。 Stream流操作主要包包括三大模块：创建流操作、中间流操作、终结流操作。 阅读全文