2017年11月22日
大数据面试题总结
摘要： 面试题总结: [优点] 支持超大文件 超大文件在这里指的是几百M，几百GB，甚至几TB大小的文件。 检测和快速应对硬件故障在集群的环境中，硬件故障是常见的问题。因为有上千台服务器连接在一起，这样会导致高故障率。因此故障检测和自动恢复是hdfs文件系统的一个设计目标 流式数据访问应用程序能以流的形式访 阅读全文
posted @ 2017-11-22 10:34 kevin&learn 阅读(4751) 评论(0) 推荐(1) 编辑
2017年11月21日
python爬虫抓取股票信息
摘要： Python爬虫抓取股票信息 介于我们小组的项目需求是需要在网上抓取股票信息，然后做成可视化界面。最开始的想法是利用Java抓取，但是由于Java代码有点冗余，决定使用Python。项目开始，遇到了极大的问题，由于小组成员对于Python的了解认知都有限，我们决定先开始自学，然后写一个简单的爬虫。 阅读全文
posted @ 2017-11-21 11:04 kevin&learn 阅读(8479) 评论(0) 推荐(1) 编辑
集群时间同步
摘要： 选择局域网中的一台机器作为ntp服务器，在这台机器上需要安装并启动ntpd 其他机器上要关闭ntpd，安装ntpdate CentOS7上这两个软件都是自带的，只需根据需要打开或者关闭。 注意其他机器的ntpd必须关闭： 修改ntp服务器上的/etc/ntp.conf，加上以下的配置： server 阅读全文
posted @ 2017-11-21 00:12 kevin&learn 阅读(337) 评论(0) 推荐(1) 编辑
2017年11月20日
高可用集群搭建
摘要： 高可用集群搭建 创建hadoop账户 创建hadoop账户（#注意，接下来的操作均在hadoop账户下运行） 高可用的搭建 进入/home/hadoop/soft/hadoop/etc/hadoop修改配置文件 再次查看namenode状态 active standby 查看到一个namenode（ 阅读全文
posted @ 2017-11-20 22:16 kevin&learn 阅读(519) 评论(0) 推荐(1) 编辑
2017年11月19日
hadoop集群安装
摘要： Hadoop高可用集群的安装： TYPE="Ethernet"BOOTPROTO="none"DEVICE="ens33"ONBOOT="yes"IPADDR="192.168.1.201"NETMASK="255.255.255.0"GATEWAY="192.168.1.1" 或者使用 dsa和r 阅读全文
posted @ 2017-11-19 00:53 kevin&learn 阅读(226) 评论(0) 推荐(1) 编辑
hadoop高可用集群规划
摘要： Hadoop集群部署前置规划： 192.168.1.201 kmaster1192.168.1.202 kmaster2192.168.1.203 kslave1192.168.1.204 kslave2192.168.1.205 kslave3192.168.1.206 kslave4192.16 阅读全文
posted @ 2017-11-19 00:20 kevin&learn 阅读(294) 评论(0) 推荐(1) 编辑