随笔分类 -  hadoop

启动kafka集群，关闭kafka集群脚本
摘要：启动kafka集群，关闭kafka集群脚本 在$KAFKA_HOME/bin下新建如下脚本文件 start-kafka.sh stop-kafka.sh 阅读全文
posted @ 2019-01-21 19:47 GL_BKY 阅读(1494) 评论(1) 推荐(0) 编辑
kafka-consumer.properties
摘要：# Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information regarding copyright... 阅读全文
posted @ 2019-01-21 17:33 GL_BKY 阅读(1511) 评论(0) 推荐(0) 编辑
kafka-producer.properties
摘要：# Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information regarding copyright... 阅读全文
posted @ 2019-01-21 17:32 GL_BKY 阅读(961) 评论(0) 推荐(0) 编辑
kafka-server.properties
摘要：# Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information regarding copyright... 阅读全文
posted @ 2019-01-21 17:32 GL_BKY 阅读(255) 评论(0) 推荐(0) 编辑
自定义combiner实现文件倒排索引
摘要：pom导入hadoop-Client即可 阅读全文
posted @ 2019-01-17 15:28 GL_BKY 阅读(281) 评论(0) 推荐(0) 编辑
单词计数-MapReduceJob
摘要：pom文件 单词计数-实现 阅读全文
posted @ 2019-01-17 15:25 GL_BKY 阅读(244) 评论(0) 推荐(0) 编辑
获取FileSystem
摘要：/** * 根据配置文件获取HDFS操作对象 * 有两种方法： * 1.使用conf直接从本地获取配置文件创建HDFS对象 * 2.多用于本地没有hadoop系统，但是可以远程访问。使用给定的URI和用户名，访问远程的配置文件，然后创建HDFS对象。 * @return FileSystem */ public FileSyst... 阅读全文
posted @ 2019-01-16 19:30 GL_BKY 阅读(771) 评论(1) 推荐(0) 编辑
使用javaAPI操作hdfs
摘要：使用javaAPI操作hdfs 阅读全文
posted @ 2019-01-16 19:24 GL_BKY 阅读(499) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示