摘要: IDEA 进入新页面后,在上方的搜索框中输入 Scala,选择Scala 这个插件,点击右侧边栏中的 Install Plugin 按钮,然后重启Intellij IDEA。 下载失败问题解决 intellij IDEA本来是不能开发Scala程序的,但是通过配置是可以的,但是通过intellij 阅读全文
posted @ 2018-09-27 16:59 star521 阅读(230) 评论(0) 推荐(0) 编辑
摘要: 原理图 两个集群 目的:扩容 HA联邦模式解决了单纯HA模式的性能瓶颈(主要指Namenode、ResourceManager),将整个HA集群划分为两个以上的集群,不同的集群之间通过Federation进行连接,使得HA集群拥有了横向扩展的能力。理论上,在该模式下,能够通过增加计算节点以处理无限增 阅读全文
posted @ 2018-09-25 20:12 star521 阅读(648) 评论(0) 推荐(0) 编辑
摘要: HA配置过程 0.选型 挑选指定的namenode。 s101 s105 1.配置s101和s105互相您能够ssh 2.配置文件 [ core-site.xml ] <?xml version="1.0"?> <configuration> <property> <name>fs.defaultF 阅读全文
posted @ 2018-09-25 20:09 star521 阅读(237) 评论(0) 推荐(0) 编辑
摘要: readme.md MarkDown文件 阅读全文
posted @ 2018-09-25 20:04 star521 阅读(264) 评论(0) 推荐(0) 编辑
摘要: 从远程库pull拉取最新版本项目下来 阅读全文
posted @ 2018-09-25 20:01 star521 阅读(591) 评论(0) 推荐(0) 编辑
摘要: IDEA上传项目到GitHub 1.在github中创建一个账号:https://github.com 2.下载并安装git:https://git-scm.com/downloads 3.安装成功后打开Git Bash,输入下列命令,设置git全局用户名和邮箱 $ git config --glo 阅读全文
posted @ 2018-09-25 20:00 star521 阅读(712) 评论(0) 推荐(0) 编辑
摘要: 克隆流程 1.项目的urL地址 https://github.com/oldboy-xupccc/big12.git 2.clone下来重命名 阅读全文
posted @ 2018-09-25 19:49 star521 阅读(162) 评论(0) 推荐(0) 编辑
摘要: RDBMS OLTP. relation database management system,关系型数据库管理系统。 支持事务(acid) 延迟低 安全行 V variaty : 多样性。 hive mr,sql 开发效率高。 数据仓库。 数据库: //OLTP OLTP //online tra 阅读全文
posted @ 2018-09-25 19:43 star521 阅读(251) 评论(0) 推荐(0) 编辑
摘要: Hive基础 1、介绍 Hive是OLAP(online analyze process,在线分析处理)。通常称为数据仓库,简称数仓。内置很多分析函数,可进行海量数据的在线分析处理。hive构建在hadoop之上,使用hdfs作为进行存储,计算过程采用的是Mapreduce完成,本质上hive是对h 阅读全文
posted @ 2018-09-25 19:40 star521 阅读(155) 评论(0) 推荐(0) 编辑
摘要: 安装注意 VIM 一路默认 阅读全文
posted @ 2018-09-25 09:44 star521 阅读(82) 评论(0) 推荐(0) 编辑
摘要: Markdown图片 URL 问题解决 1.上传图片到博客园的相册 2. 得到图片的URL 3.复制url到 markdown文件 4.MarkDown图片加载书写格式 ​ 阅读全文
posted @ 2018-09-21 20:08 star521 阅读(442) 评论(0) 推荐(0) 编辑
摘要: 批量更改某个文件夹下的文件名 package demo2; import java.io.File; / 批量更改某个文件夹下的文件名 1.去掉某些标志 c:/小说 1.封装file对象 2.得到这个file对象下所有的子文件的file数组 3.遍历数组,改名 / public class File 阅读全文
posted @ 2018-09-21 15:44 star521 阅读(503) 评论(0) 推荐(0) 编辑
摘要: 创建命名空间 create_namespace 'test' 建表时 预切割region create 'test:t1','f1',SPLITS => ['row20000','row25000','row50000','row75000'] 16010 查看预切分的region 1 @Test 阅读全文
posted @ 2018-08-23 21:41 star521 阅读(154) 评论(0) 推荐(0) 编辑
摘要: 正常拷贝: 磁盘 -> 内核空间 - > user空间 -> 内核空间 -> 目的缓冲区 零拷贝方式 : 磁盘 -> 内核空间 - >目的缓冲区 为FileChannel.transferTo(long position, long count, WritableByteChannel target 阅读全文
posted @ 2018-07-02 12:10 star521 阅读(2602) 评论(0) 推荐(0) 编辑
摘要: 高速IO 写到内存,内存写到文件 虚拟内存 把内存数据同步到磁盘上 FileChannel 随机访问文件 RandomAccessfile() getChannel 映射字节缓冲区 MappedByteBuffer map(映射模式,位置,大小) 阅读全文
posted @ 2018-07-02 11:55 star521 阅读(285) 评论(0) 推荐(0) 编辑