随笔分类 -  hadoop

摘要：解决办法：初始化namenode：hdfs namenode -format 阅读全文

摘要：显示数据库： 创建数据库： 删除数据库： 创建表： 添加数据： 删除表内数据： 删除表： 阅读全文

摘要：1 package hdfs; 2 3 import java.io.FileNotFoundException; 4 import java.io.IOException; 5 import java.net.URI; 6 7 import org.apache.hadoop.conf.Configuration; 8 import org.apache.h... 阅读全文

摘要：查看根目录文件： hadoop fs -ls / 创建目录sun：hadoop fs -mkdir /sun 删除目录sun: hadoop fs -rmr /sun 上传文件：hdfs dfs -put /Users/wochu/Desktop/tool/hdfs/test.txt /sun/te 阅读全文

摘要：1.安装jdk：版本在1.7x以上（因为hadoop2.x以上只支持1.7.x以上的jdk） 2.下载hadoop 3.配置ssh免密登录 4.查询jdk版本 5.配置hadoop-env.sh 6.配置core-site.xml 7.配置hdfs-site.xml 8.配置mapred-site. 阅读全文

摘要：package me; import java.nio.charset.Charset; import java.util.HashMap; import java.util.Random; import org.apache.flume.Context; import org.apache.flume.EventDeliveryException; import org.apache.fl... 阅读全文

摘要：package me; import java.io.File; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; import org.apache.flume.Channel; import org.apache.flume.Context;... 阅读全文

摘要：[ERROR - org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:251)] Unable to start EventDrivenSourceRunner: { 阅读全文

摘要：package me; import static org.mockito.Matchers.booleanThat; import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; import java.sql.Statement; import org.apache.fl... 阅读全文

摘要：package me; import org.apache.flume.Channel; import org.apache.flume.Context; import org.apache.flume.Event; import org.apache.flume.EventDeliveryException; import org.apache.flume.Transaction; impo... 阅读全文

摘要：如果报错类似于 Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue process 换一个文件夹 阅读全文

摘要：开启zookeeper和kafka，创建一个hellotest的topic 查看 阅读全文

摘要：转自：http://corejava2008.iteye.com/blog/2218123 创建simple-conf文件 输入 打开另一个终端输入 阅读全文

摘要：package spark import java.util.Properties import java.util.HashMap import org.apache.kafka.clients.producer._ import org.apache.spark.SparkConf import org.apache.spark.streaming._ import org.apache... 阅读全文

摘要：./zkServer.sh start启动成功，并且使用jps能看zookeeper的进程。 ./zkServer.sh status缺报错，Error contacting service. It is probably not running. 好多地方说和防火墙有关系 我的解决办法是先看一下2 阅读全文

摘要：条件：安装好eclipse和hive 创建项目引入jar包 遇到的问题： SunandLi is not allowed to impersonate anonymous 修改core-site.xml中文件内容，在原文件内容中添加： <property> <name>hadoop.proxyuse 阅读全文

摘要：首先安装好hbase 创建一个java project引入hbase中lib的jar包 然后创建一个class 阅读全文

摘要：下载hbase 配置conf中hbase-env.sh 配置conf中的hbase-site.xml 启动hbase 检查是否启动 进入hbase shell 创建表t1 查看有哪些表 插入数据没有指定column 插入数据指定column 插入多列数据 启动错误 将logs里面的文件删除和hdfs 阅读全文

摘要：下载kafka：http://kafka.apache.org/downloads 配置config/server.properties 启动kafka 新建一个topic 阅读全文

摘要：下载zookeeper：http://apache.fayea.com/zookeeper 解压拷贝到当前用户目录下面 在conf目录下面vim zoo.cfg 阅读全文