fen斗 - 博客园

2019年10月4日

hadoop学习笔记（十）：hdfs在命令行的基本操作命令（包括文件的上传和下载和hdfs中的文件的查看等）

摘要： hdfs命令行（1）查看帮助 hdfs dfs -help （2）查看当前目录信息 hdfs dfs -ls / （3）上传文件 hdfs dfs -put /本地路径 /hdfs路径（4）剪切文件 hdfs dfs -moveFromLocal a.txt /aa.txt （5）下载文件到本地 hdfs dfs -get /hdfs路径 /本地路径（6）合并下载 hdfs dfs -get 阅读全文

posted @ 2019-10-04 18:34 fen斗阅读(4060) 评论(0) 推荐(0) 编辑

hadoop学习笔记（九）：mr2HA高可用环境搭建及处步使用

摘要：本文原创，如需转载，请注明原文链接和作者所用到的命令的总结： yarn：启动start-yarn.sh 停止stop-yarn.sh zk :zkServer.start ;:zkServer.stop; 启动hdfs : start-dfs.sh 停止:stop-dfs.sh 当然可以需要在zk 阅读全文

posted @ 2019-10-04 16:45 fen斗阅读(324) 评论(0) 推荐(0) 编辑

2019年10月3日

github新手使用

摘要： 1、首先要先在github的官网注册一个属于自己的账号。https://github.com/ 2、注册完成后需要一些简单的设置，先创建一个属于自己的仓库，repository 3、创建仓库 4、如何让自己电脑上的代码同步到Github上所创建的库当中？在这里，需要安装git的命令工具，Git Ba 阅读全文

posted @ 2019-10-03 11:37 fen斗阅读(181) 评论(0) 推荐(0) 编辑

hadoop学习笔记（九）：mapReduce1.x和2.x

摘要：一、MapReduce1.0的数据分割到数据计算的过程 MapReduce是我们再进行离线大数据处理的时候经常要使用的计算模型，MapReduce的计算过程被封装的很好，我们只用使用Map和Reduce函数 nput Input但是输入文件的存储位置，，它也可以是本机上的文件位置。我们来仔细分析下阅读全文

posted @ 2019-10-03 08:48 fen斗阅读(435) 评论(0) 推荐(0) 编辑

2019年9月30日

hadoop学习笔记（八）：hadoop2.x的高可用环境搭建

摘要：本文原创，转载请注明作者及原文链接高可用集群的搭建：几个集群的启动顺序问题： 1、先启动zookeeper >zkServer.sh start 2、启动journalNodes集群 >hadoop-daemon.sh start journalnode 3 也就是主结点nameNode的纵向扩阅读全文

posted @ 2019-09-30 10:12 fen斗阅读(298) 评论(0) 推荐(0) 编辑

2019年9月28日

python文件读取：遇见的错误及解决办法

摘要：问题一： TypeError: 'str' object is not callable 产生原因：该错误TypeError: 'str' object is not callable字面上意思:就是str不可以被系统调用, 其实原因就是:你正在调用一个不能被调用的变量或对象，具体表现就是你调用函阅读全文

posted @ 2019-09-28 22:41 fen斗阅读(2581) 评论(0) 推荐(0) 编辑

2019年9月27日

eclipse的版本代号

摘要： mars为4.5版本号代号代号名发布日期Eclipse 3.1 IO 木卫一，伊奥 2005Eclipse 3.2 Callisto 木卫四，卡里斯托 2006Eclipse 3.3 Europa 木卫二，欧罗巴 2007Eclipse 3.4 Ganymede 木卫三，盖尼米得 2008Ec 阅读全文

posted @ 2019-09-27 15:35 fen斗阅读(1015) 评论(0) 推荐(0) 编辑

每日扫盲（五）：RPC（Remote Procedure Call）

摘要：作者：洪春涛链接：https://www.zhihu.com/question/25536695/answer/221638079来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。本地过程调用 RPC就是要像调用本地的函数一样去调远程函数。在研究RPC前，我们先看看本地阅读全文

posted @ 2019-09-27 15:07 fen斗阅读(623) 评论(0) 推荐(0) 编辑

TCP、UDP和HTTP关系

摘要： 1、TCP/IP是个协议组，可分为三个层次：网络层、传输层和应用层。在网络层有IP协议、ICMP协议、ARP协议、RARP协议和BOOTP协议。在传输层中有TCP协议与UDP协议。在应用层有FTP、HTTP、TELNET、SMTP、DNS等协议。因此，HTTP本身就是一个协议，是从Web服务阅读全文

posted @ 2019-09-27 14:54 fen斗阅读(516) 评论(0) 推荐(0) 编辑

TCP和UDP的最完整的区别

摘要： TCP的优点：可靠，稳定 TCP的可靠体现在TCP在传递数据之前，会有三次握手来建立连接，而且在数据传递时，有确认、窗口、重传、拥塞控制机制，在数据传完后，还会断开连接用来节约系统资源。 TCP的缺点：慢，效率低，占用系统资源高，易被攻击 TCP在传递数据之前，要先建连接，这会消耗时间，而且在数阅读全文

posted @ 2019-09-27 13:19 fen斗阅读(388) 评论(0) 推荐(0) 编辑

℡正儿八经