07 2015 档案

spark shell学习笔记
摘要：http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.html 阅读全文

posted @ 2015-07-30 17:20 残阳飞雪 阅读(206) 评论(0) 推荐(0) 编辑

用shell 实现对MySQL数据库分页
摘要：参考链接http://mp.weixin.qq.com/s?__biz=MzAxMzE4MDI0NQ==&mid=208299533&idx=1&sn=4cab00793ebf5c4842f3a1cc31241123&scene=5#rd 阅读全文

posted @ 2015-07-27 15:17 残阳飞雪 阅读(273) 评论(0) 推荐(0) 编辑

hive 1.2 配置
摘要：参考链接 http://www.cnblogs.com/yjmyzz/p/how-to-install-hive-1-2-0-on-mac.html 阅读全文

posted @ 2015-07-20 15:06 残阳飞雪 阅读(293) 评论(0) 推荐(0) 编辑

spark1.4配置安装
摘要：https://segmentfault.com/a/1190000004508993 阅读全文

posted @ 2015-07-20 10:45 残阳飞雪 阅读(174) 评论(0) 推荐(0) 编辑

HBase学习
摘要：参考网址http://wuchong.me/blog/2015/04/06/spark-on-hbase-new-api/综合代码 zonghhttps://www.mapr.com/developercentral/codespark + kafka http://henning.kropponl... 阅读全文

posted @ 2015-07-19 00:19 残阳飞雪 阅读(210) 评论(0) 推荐(0) 编辑

mysql 创建和删除用户
摘要：1.远程登录mysqlmysql -h ip -u root -p 密码2.创建用户 格式：grant 权限 on 数据库.* to 用户名@登录主机 identified by "密码"； 例1：增加一个test1用户，密码为123456，可以在任何主机上登录，并对所有数据库有查询，增加，修改和删... 阅读全文

posted @ 2015-07-16 10:40 残阳飞雪 阅读(228) 评论(0) 推荐(0) 编辑

eclipse 访问 hive1.2.1
摘要：参考链接1.http://www.iteblog.com/archives/846操作实际参考代码:http://sunhs.sinaapp.com/?p=343配置eclipse 搞1天, 不管怎样导入包一直提示DriverManager not found exception:注意1:要导入的包... 阅读全文

posted @ 2015-07-15 13:37 残阳飞雪 阅读(760) 评论(0) 推荐(0) 编辑

hive kettle 学习笔记
摘要：学习网址 http://wiki.pentaho.com/display/BAD/Transforming+Data+within+Hive 阅读全文

posted @ 2015-07-15 13:08 残阳飞雪 阅读(572) 评论(0) 推荐(0) 编辑

linux mysql远程连接的命令
摘要：mysql -u 用户名 -h 远程IP地址 -p 随后输入密码。要确认远程数据库3306端口是否开放，mysql服务是否启动。hadoop@Master:~$ mysql -u root -h 192.168.2.21 -p 阅读全文

posted @ 2015-07-14 14:32 残阳飞雪 阅读(1099) 评论(0) 推荐(0) 编辑

hive 配置元数据以mysql 存储
摘要：javax.jdo.option.ConnectionURL jdbc:mysql://127.0.0.1:3306/hive?characterEncoding=UTF-8 javax.jdo.option.ConnectionD... 阅读全文

posted @ 2015-07-13 18:30 残阳飞雪 阅读(567) 评论(0) 推荐(0) 编辑

linux 系统安装mysql (rpm)
摘要：其实按照本文安装成功，但是启动依然有问题：最好参考链接配置．http://blog.csdn.net/xiaoxiaoxuewen/article/details/7550107我用的是ubuntu 系统，会提示要用alien 安装：这是因为rpm文件是Red Hat公司开发的软件安装包，而Ubun... 阅读全文

posted @ 2015-07-13 14:06 残阳飞雪 阅读(232) 评论(0) 推荐(0) 编辑

HDFS 常用命令
摘要：参考链接 http://segmentfault.com/a/11900000026726661.ls列出hdfs文件系统根目录下的目录和文件hadoop@Master:~$ hadoop fs -ls /Found 3 itemsdrwxr-xr-x - hadoop supergroup... 阅读全文

posted @ 2015-07-11 18:20 残阳飞雪 阅读(5805) 评论(0) 推荐(0) 编辑

CentOS 6.5配置SSH免密码登录
摘要：centos 系统对权限的设置非常微妙，如果权限设置大了则ssh 拒绝，如果权限小了，则ssh 更是被拒绝（我曾经配置好久没有打通，就是因为权限过大的原因）参考链接：http://www.linuxidc.com/Linux/2014-11/108914.htmCentOS6.5配置SSH免密码登录... 阅读全文

posted @ 2015-07-09 18:54 残阳飞雪 阅读(447) 评论(0) 推荐(0) 编辑

关于时间同步
摘要：http://www.jb51.net/LINUXjishu/73979.html喜欢将时间设置为实际当前时间,ntpdate time.nist.gov 阅读全文

posted @ 2015-07-06 16:00 残阳飞雪 阅读(174) 评论(0) 推荐(0) 编辑

hbase集群部分节点HRegionServer启动后自动关闭的问题
摘要：参考链接http://f.dataguru.cn/thread-209058-1-1.html我有４ＨRegionServer节点，1个master,其中３个是unbuntu 系统，２个节点是centos 6.5，启动过程都很正常，但是一会后slave3 的HRegionServer会自动关闭.查看... 阅读全文

posted @ 2015-07-04 15:57 残阳飞雪 阅读(23179) 评论(0) 推荐(1) 编辑

在hadoop集群添加了slave节点的方法
摘要：分为以下几个步骤：1 ，修改master和slave 的参数，和配置时相同，只是修改和节点数相关，如slaves(我的只改了slaves), 将任意一个该好的文件发送到新增加的机器（或者虚拟机）２，关闭集群stop-all.sh３，删除已经配置好了的集群的每个slave配置文件里面data文件夹:如... 阅读全文

posted @ 2015-07-03 17:39 残阳飞雪 阅读(424) 评论(0) 推荐(0) 编辑

centos7 安装hadoop 集群遇到的问题
摘要：集群安装之后,hdfs 不能上传文件，也提示rute等错误，其实是防火墙问题，关闭防火墙即可．CentOS 7.0默认使用的是firewall作为防火墙，这里改为iptables防火墙。firewall：systemctl start firewalld.service#启动firewallsyst... 阅读全文

posted @ 2015-07-02 19:11 残阳飞雪 阅读(305) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示