docker 安装hadoop
上一篇文章介绍了一些docker的基本命令,这篇文章来安装一个HADOOP
一、下载hadoop镜像
@~/git/github/docker-ambari (master)$ docker pull sequenceiq/hadoop-docker:2.6.0 Pulling repository sequenceiq/hadoop-docker 7b738796aaab: Pulling dependent layers 89b52f216c6c: Download complete ... 这个一个漫长的过程 Status: Downloaded newer image for sequenceiq/hadoop-docker:2.6.0
二、查看镜像
@~ $ docker images REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE ubuntu curl-ubuntu aac468ce18c8 17 hours ago 204.1 MB sequenceiq/hadoop-docker 2.6.0 7b738796aaab 6 days ago 1.597 GB ubuntu latest 9bd07e480c5b 10 days ago 192.7 MB <none> <none> c840fd1ab2ae 6 weeks ago 984.4 MB
三、运行hadoop
@~ $ docker run -i -t sequenceiq/hadoop-docker:2.6.0 /etc/bootstrap.sh -bash Starting sshd: [ OK ] ......
四、查看结果
bash-4.1# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep input output 'dfs[a-z.]+' 14/12/14 09:45:31 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 14/12/14 09:45:32 WARN mapreduce.JobSubmitter: No job jar file set. User classes may not be found. See Job or Job#setJar(String). 14/12/14 09:45:32 INFO input.FileInputFormat: Total input paths to process : 31
五、继续
bash-4.1# bin/hdfs dfs -cat output/* 6 dfs.audit.logger 4 dfs.class 3 dfs.server.namenode. 2 dfs.period 2 dfs.audit.log.maxfilesize 2 dfs.audit.log.maxbackupindex 1 dfsmetrics.log 1 dfsadmin 1 dfs.servers 1 dfs.replication 1 dfs.file
参考:
https://registry.hub.docker.com/u/sequenceiq/hadoop-docker/
http://www.tuicool.com/articles/7V7vYn
http://www.linuxeden.com/html/news/20140701/153247.html
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· 周边上新:园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源!
· 分享 3 个 .NET 开源的文件压缩处理库,助力快速实现文件压缩解压功能!
· Ollama——大语言模型本地部署的极速利器
· DeepSeek如何颠覆传统软件测试?测试工程师会被淘汰吗?
2012-12-15 编辑到最后,确没有写的权限