11 2017 档案

sql简单测试
摘要：SQL简单测试： 哪条SQL 语句可返回唯一不同的值 A.UNIQUE是完整性约束里的一种,如果某列的值需要是唯一的那么就添加UNIQUE约束Distinct是在查询时用的,若在SELECT的列选择列表中的某列说明为Distinct,那么查询出来的结果里,该列不会出现重复的值. B.unique是d 阅读全文
posted @ 2017-11-27 17:29 kevin&learn 阅读(795) 评论(0) 推荐(0)
Java概述
摘要：概述： 特点： 简单自然 平台可移植性 支持函数式编程 JIT编译 更好的并发编程 术语： JDK:Java development toolkit，是 Java 语言的软件开发工具包（SDK）。这里面包含了JAVA的运行环境（jre），JAVA工具（javac/java/jdb等）和JAVA基础的 阅读全文
posted @ 2017-11-27 11:09 kevin&learn 阅读(194) 评论(0) 推荐(0)
搭建集群时的问题总结
摘要：搭建集群的问题： 问题1： 集群规划时某些节点过于复杂，主节点占用内存过大，造成集群有些点很卡的现象。重新规划集群后避免发生了此类问题。 问题2： 开始集群的操作都处于root账户下，后来发现这样做并不安全。于是新建了hadoop账户，作为我们的作业平台。 问题3： 集群的时间同步方面遇到问题，开始 阅读全文
posted @ 2017-11-27 09:54 kevin&learn 阅读(249) 评论(0) 推荐(0)
在Java连接hbase时出现的问题
摘要：问题1： java.net.ConnectException: Connection refused: no further information zookeeper.ClientCnxn: Session 0x0 for server null zookeeper未启动，或无法连接，从查看各节点 阅读全文
posted @ 2017-11-27 00:36 kevin&learn 阅读(2081) 评论(0) 推荐(0)
JavaAPI与hbase的交互
摘要：JavaAPI连接Hbase 准备工作： 确保集群各节点服务运行正常 确保zookeeper可以正常工作 已经开启hbase-master，hbase-regionserver 环境：windows7下eclipse，集群正常工作。 由于我们是在windows7下运行，所以我们将服务器中的hadoo 阅读全文
posted @ 2017-11-27 00:21 kevin&learn 阅读(8434) 评论(0) 推荐(1)
Resourcemanager的高可用
摘要：Resourcemanager的高可用： 然后两台机器分别启动resourcemanager即可 检查 高可用RM配置成功 阅读全文
posted @ 2017-11-26 22:23 kevin&learn 阅读(1410) 评论(0) 推荐(0)
hbase安装
摘要：Hbase的安装 修改regionservers(/home/hadoop/soft/hbase/conf) 启动hbase服务 阅读全文
posted @ 2017-11-26 22:14 kevin&learn 阅读(186) 评论(0) 推荐(0)
hbase报错org.apache.hadoop.hbase.TableExistsException: hbase:namespace
摘要：org.apache.hadoop.hbase.TableExistsException: hbase:namespace 在cdh版本下使用： 然后重新启动hbase服务即可。另一种方法： 阅读全文
posted @ 2017-11-24 21:52 kevin&learn 阅读(352) 评论(0) 推荐(0)
hadoop入门
摘要：hadoop入门（面试需要） MapReduce简介：(参考) MapReduce执行过程： MapReduce原理： MapReduce执行步骤： map过程 每一个map可能会产生大量的输出，combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量。 combi 阅读全文
posted @ 2017-11-23 21:46 kevin&learn 阅读(284) 评论(0) 推荐(1)
Zookeeper包安装
摘要：项目集群Zookeeper安装： 对解压出来的 zookeeper-3.4.5-cdh5.3.6包重新命名 在另外两个点kslave6，kslave7上按照上述步骤配置zookeeper，并且设置标识分别为2，3 检查zookeeper状态： 如果检查出来的状态是一台机器zookeeper状态是le 阅读全文
posted @ 2017-11-22 15:57 kevin&learn 阅读(312) 评论(0) 推荐(0)
大数据面试题总结
摘要：面试题总结: [优点] 支持超大文件 超大文件在这里指的是几百M，几百GB，甚至几TB大小的文件。 检测和快速应对硬件故障在集群的环境中，硬件故障是常见的问题。因为有上千台服务器连接在一起，这样会导致高故障率。因此故障检测和自动恢复是hdfs文件系统的一个设计目标 流式数据访问应用程序能以流的形式访 阅读全文
posted @ 2017-11-22 10:34 kevin&learn 阅读(4832) 评论(0) 推荐(1)
python爬虫抓取股票信息
摘要：Python爬虫抓取股票信息 介于我们小组的项目需求是需要在网上抓取股票信息，然后做成可视化界面。最开始的想法是利用Java抓取，但是由于Java代码有点冗余，决定使用Python。项目开始，遇到了极大的问题，由于小组成员对于Python的了解认知都有限，我们决定先开始自学，然后写一个简单的爬虫。 阅读全文
posted @ 2017-11-21 11:04 kevin&learn 阅读(8570) 评论(0) 推荐(1)
集群时间同步
摘要：选择局域网中的一台机器作为ntp服务器，在这台机器上需要安装并启动ntpd 其他机器上要关闭ntpd，安装ntpdate CentOS7上这两个软件都是自带的，只需根据需要打开或者关闭。 注意其他机器的ntpd必须关闭： 修改ntp服务器上的/etc/ntp.conf，加上以下的配置： server 阅读全文
posted @ 2017-11-21 00:12 kevin&learn 阅读(351) 评论(0) 推荐(1)
高可用集群搭建
摘要：高可用集群搭建 创建hadoop账户 创建hadoop账户（#注意，接下来的操作均在hadoop账户下运行） 高可用的搭建 进入/home/hadoop/soft/hadoop/etc/hadoop修改配置文件 再次查看namenode状态 active standby 查看到一个namenode（ 阅读全文
posted @ 2017-11-20 22:16 kevin&learn 阅读(527) 评论(0) 推荐(1)
hadoop集群安装
摘要：Hadoop高可用集群的安装： TYPE="Ethernet"BOOTPROTO="none"DEVICE="ens33"ONBOOT="yes"IPADDR="192.168.1.201"NETMASK="255.255.255.0"GATEWAY="192.168.1.1" 或者使用 dsa和r 阅读全文
posted @ 2017-11-19 00:53 kevin&learn 阅读(229) 评论(0) 推荐(1)
hadoop高可用集群规划
摘要：Hadoop集群部署前置规划： 192.168.1.201 kmaster1192.168.1.202 kmaster2192.168.1.203 kslave1192.168.1.204 kslave2192.168.1.205 kslave3192.168.1.206 kslave4192.16 阅读全文
posted @ 2017-11-19 00:20 kevin&learn 阅读(308) 评论(0) 推荐(1)