at_today - 博客园

Docker中向镜像修改配置文件的方式

摘要：经常需要对镜像内部的文件进行修改，例如在构建镜像时候修改配置文件。在使用一些开源镜像的过程中发现了一些对镜像文件进行的方式，这里以hadoop集群搭建和storm集群搭建为例介绍两种修改镜像内配置文件的方式。一、通过context把配置文件传入镜像 step1. 在DockerFile同级目录下，阅读全文

posted @ 2019-06-16 22:26 at_today 阅读(23186) 评论(0) 推荐(0) 编辑

Linux--nc(netcat)

摘要：参考： https://www.cnblogs.com/hxsyl/p/6118078.html https://www.oschina.net/translate/linux-netcat-command https://blog.csdn.net/qq_29499107/article/deta 阅读全文

posted @ 2019-06-16 22:26 at_today 阅读(535) 评论(0) 推荐(0) 编辑

Storm入门（2）--Storm编程

摘要：以电信通话记录为例移动呼叫及其持续时间将作为对Apache Storm的输入，Storm将处理和分组在相同呼叫者和接收者之间的呼叫及其呼叫总数。 Storm编程套路：在storm中，把对数据的处理过程抽象成一个topology，这个topology包含的组件主要是spout、bolt，以及以tu 阅读全文

posted @ 2019-06-16 01:10 at_today 阅读(286) 评论(0) 推荐(0) 编辑

Storm入门（1）--概念及部署

摘要：前面介绍了流计算，在流计算领域，一个热门的计算框架就是-Storm。还是先介绍概念。。。一、Storm是什么在流处理过程中，我们除了考虑最重要的数据处理的逻辑，还需要维护消息队列和消费者，考虑消息怎么流、怎么序列化等。而Storm就是这样一个流式计算框架，它为你完成了消息传递等这些通用模块，让你阅读全文

posted @ 2019-06-14 22:58 at_today 阅读(419) 评论(0) 推荐(0) 编辑

Storm入门（0）--流计算

摘要：一、静态数据、流数据以及批量计算、实时计算大数据分类两类：静态数据和动态数据（流数据）。针对这两类数据的计算模式分别是批量计算和实时计算。静态数据：历史数据持久化存储在系统里，这类数据的特点是数据量大、数量有限（数据的时间区间是确定的）。例如企业为了支持决策分析而构建的数据仓库系统。对这类阅读全文

posted @ 2019-06-14 22:57 at_today 阅读(414) 评论(0) 推荐(0) 编辑

hadoop生态--Hive（4）--Hive分区中的动态分区、静态分区

摘要：感谢： http://bbs.elecfans.com/jishu_1600211_1_1.html https://www.deeplearn.me/1536.html 动态分区：在对分区表插入数据时，不指定（或不全部指定）分区字段的值，数据会插入到哪个分区由数据自身值决定。静态分区：在对分阅读全文

posted @ 2019-06-09 10:34 at_today 阅读(316) 评论(0) 推荐(0) 编辑

Class.forName（String driverClassName）加载JDBC驱动程序时，底层都做了些什么？？？

摘要：参考链接： https://www.cnblogs.com/liuxianan/archive/2012/08/04/2623258.html 参考链接： https://www.cnblogs.com/liuxianan/archive/2012/08/04/2623258.html Class. 阅读全文

posted @ 2019-06-08 23:57 at_today 阅读(330) 评论(0) 推荐(0) 编辑

hadoop生态--Hive（1）--Hive入门

摘要：是什么？ hive，是基于hadoop的数据仓库，用于处理结构化数据。适合做OLAP。存储数据结构（schema）在数据库中，处理数据进入hdfs。大量的MR任务繁重，为了简化编写MR的工作量，hive提供了一个框架，可以把一个类似sql的查询语句翻译成MR程序，然后把job提交到hdfs上进行查阅读全文

posted @ 2019-06-08 19:30 at_today 阅读(419) 评论(0) 推荐(0) 编辑

hbase 中rowkey设计

该文被密码保护。阅读全文

posted @ 2019-06-08 17:28 at_today 阅读(1) 评论(0) 推荐(0) 编辑

git--一文弄懂git的工作区、索引区、本地仓库、远程仓库以及add、commit、push三个操作

摘要： git中文件所在位置有四个，在工作区内、在索引区内、在本地仓库、在远程仓库。处于四个位置中文件的状态分别为untracked、unmodified、modified、staged。通过三个操作可以把文件进行状态转移：git add 把工作区文件添加到索引区；git commit 把索引区文件添加到本阅读全文

posted @ 2019-06-08 16:29 at_today 阅读(5943) 评论(2) 推荐(1) 编辑