摘要:
Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能。 现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为它们所提供的SLA(Service Level Aggreement)是完全 阅读全文
摘要:
初识spark,需要对其API有熟悉的了解才能方便开发上层应用。本文用图形的方式直观表达相关API的工作特点,并提供了解新的API接口使用的方法。例子代码全部使用python实现。 1. 数据源准备 准备输入文件: 启动pyspark: 使用textFile创建RDD: 查看RDD分区与数据: 2. 阅读全文
摘要:
汇编器构造 一、 汇编器简介 前面介绍了编译器构造和静态链接器构造的具体方法,而且我们实现了一个将高级语言转化为汇编语言的编译器,同时又实现了一个将多个目标文件链接为一个可执行文件的链接器。现在需要一个连接这两个模块的功能模块——汇编器,它能将一个单独的汇编文件转换为一个可重定位目标文件,如图1-1 阅读全文
摘要:
1. 操作系统环境、安装包准备 宿主机:Max OSX 10.10.5 虚拟机:Parallel Desktop 10.1.1 虚拟机操作系统:CentOS 7 x86_64 DVD 1511.iso Oracle:linux.x64_11gR2_database_1of2.zip linux.x6 阅读全文
摘要:
编程语言,作为人与计算机沟通的桥梁,有着重要和深远的意义。有过计算机编程经验的人,多少学习或掌握过一到多种编程语言。计算机专业领域的编程语言成百上千种,主流的编程语言也有数十种之多。每种编程语言面向的领域和特性都不尽相同,不过归根结底是为了解决人与计算机之间沟通的效率问题,提高计算机的生产力。想必有 阅读全文
摘要:
快餐式的学习确实会在短期内对个人迅速了解未知事物有所帮助,而作为专业人士要保持长期的竞争力,提高专业素养是必不可少而又漫长的过程,了解和学习基础理论并加以实践是一种行之有效的方式。 阅读全文
摘要:
1. 生成服务依赖关系 2. 在线生成依赖关系图 访问url:http://www.webgraphviz.com/ 阅读全文
摘要:
``` !/bin/bash USER=test PASS=$USER GROUP=root HOME=/data/home/$USER if user not exist if [[ $(cat /etc/passwd | grep E '^$USER:' c) == "0" ]]; then u 阅读全文
摘要:
一、Hadoop HA的Web页面访问 Hadoop开启HA后,会同时存在两个Master组件提供服务,其中正在使用的组件称为Active,另一个作为备份称为Standby,例如HDFS的NameNode、YARN 的ResourceManager。HDFS的web页面只有通过Active的Name 阅读全文