随笔分类 - 大数据
bigdata
摘要：1.azkaban 启动：bin/azkaban-solo-start.sh或绝对路径方式执行azkaban-solo-start.sh脚本 关闭：bin/azkaban-solo-shutdown.sh 2.kafka 注意配置server.properties,此配置文件用来配置kafka服务器
阅读全文
摘要：在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。
阅读全文
摘要：系统环境：centos7.5 64位系统 1.下载安装包 官网下载离线安装包：apache-flume-1.8.0-bin.tar.gz 也可以使用linux命令下载： 2.解压 解压压缩包并放至指定目录，我这里的完整目录是：/home/hadoop/runtime/apache-flume-1.8
阅读全文
摘要：azkaban 是一个用Java开发的开源调度工具workflow。 下面介绍具体安装过程，我这里使用的版本是3.43.0，使用的是solo运行模式。 编译 当然也可以在官网下载离线安装包，解压进入azkaban根目录执行 配置 修改配置文件azkaban.properties，该文件位于/home
阅读全文
摘要：执行start-dfs.sh后，datenode没有启动，很大一部分原因是因为在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfs namenode -format)，这时主节点namenode的clusterID会重新生成，而从节点datanode的cluster
阅读全文
摘要：总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。 1、环境，3台CentOS7，64位，Hadoop2.7需要64位Linux，CentOS7 Minimal的ISO文件只有600M，操作系统十几分
阅读全文
摘要：这是数据库开发中经常遇到的问题，当然，这可以用现成的ORM框架来解决，但有些时候，如果DataSet/DataTable是第三方接口返回的，ORM就不方便了，还得自己处理。 反射自然必不可少的，另外考虑到DataTable中的ColumnName通常与Model的PropertyName并不严格对应
阅读全文
