12 2016 档案
摘要:第一步:安装spark 将官网下载好的spark 2.0.0 bin hadoop2.6.tgz上传到/usr/spark目录下。这里需注意的是spark和hadoop有对应版本关系 第二步:修改配置文件 第三步:在spark2和spark3节点上也安装spark 第四步:验证spark以及进入sp
阅读全文
摘要:Centos下Scala安装 上传Scala到/usr/scala目录下
阅读全文
摘要:第一步:创建一个java project命名为wujiadong_hbase 第二步:在该工程下创建一个folder命名为lib(储存依赖的jar包) 第三步:将集群中的hbase安装目录下载一份到win下,将hbase下lib目录(I:\data science\hbase\hbase 0.9\l
阅读全文
摘要:lrzsz的安装 rz用法 终端直接输入rz,出现文件选择对话框,选择要上传的文件就ok sz用法 下载filename文件: sz filename 下载dir文件夹下所有文件(不包括dir下文件夹): sz dir/
阅读全文
摘要:创建数据库 创建表 stg_job表 drop table if exists stg_job; create table if not exists stg_job( web_id string comment 'web id', web_type string comment 'web type
阅读全文
摘要:HBase 常用命令 进入hbase shell 表的管理 创建表 删除表(先屏蔽在删除) 查看表的结构 表数据的增删改查 添加数据 查询某行记录 扫描表(可添加STARTROW、TIMERANGE和FITLER等高级功能) 统计表中数据行数 删除数据 删除行中某个列值(必须指定列名) 删除行 删除
阅读全文
摘要:认识NoSQL NoSQL:泛指非关系数据库(Not only SQL) NoSQL两重要特征:使用硬盘和把随机存储器作为存储载体 NoSQL分类(按照存储格式) 1)键值(Key Value)存储数据库 2)列存储数据库 3)文档型存储数据库 4)图形数据库 目前比较流行的NoSQL数据库有Cas
阅读全文
摘要:第一步:Hbase安装 hadoop,zookeeper前面都安装好了 将hbase 1.1.3 bin.tar.gz上传到/usr/HBase目录下 第二步:修改配置文件 编辑 hbase env.xml 编辑 hbase site.xml 编辑 regionservers 第三步:搭建hbase
阅读全文
摘要:第一步:zookeeper安装 通过WinSCP软件将zookeeper 3.4.8.tar.gz软件传送到/usr/zookeeper/目录下 第二步:配置zoo.cfg 第三步:设置zookeeper节点标识 第四步:搭建zookeeper集群 在两个节点上按照上述步骤配置ZooKeeper,使
阅读全文
摘要:将查询结果集写入另一个表中的时候报了这个错,Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mo
阅读全文
摘要:hive复制表结构 例:创建一个和stg_job表一样表结构的s_job表
阅读全文
摘要:hive的脚本执行 实例 hive与依赖环境的交互 与linux交互 与hdfs交互
阅读全文
摘要:sqoop将mysql数据库中数据导入hdfs或hive中后中文乱码问题解决办法 mysql数据导入hdfs中中文乱码问题总结 修改mysql里面的my.conf文件 创建数据库,指定字符集是utf8 再新的数据库里面创建表,在create table语句里面指定字符集是 utf8 插入中文汉字记录
阅读全文
摘要:最近学习了下这个导数据的工具,但是在export命令这里卡住了,暂时排不了错误。先记录学习的这一点吧 sqoop是什么 sqoop(sql on hadoop):是用来实现结构型数据(如关系型数据库)和hadoop之间进行数据迁移的工具。它充分利用了mapreduce的并行特点以及批处理的方式加快数
阅读全文
摘要:转换流 由于字节流操作中文不是特别方便,所以java中提供了转换流 编码表:由现实世界的字符和对应的数值组成的一张表 编码:把看得懂的变成看不懂的(String byte[]) 解码:把看不懂的变成看得懂的(byte[] String) String bytes[] bytes[] String O
阅读全文
摘要:IO流 输入与输出【参照物是程序】 如果从键盘、文件、网络甚至是另一个进程(程序或系统)将数据读入到程序或系统中,称为输入 如果是将程序或系统中的数据写到屏幕、硬件上的文件、网络上的另一端或者是一个进程(程序或系统),称为输出 IO流的分类 根据数据流向不同分为:输入流和输出流 输入流: 程序可以从
阅读全文
摘要:File类 File:文件和目录路径名的抽象表示形式。即java中把文件或者目录都封装成File对象 代码练习1 File类构造方法 代码练习2 创建功能 代码练习3 删除功能 代码练习4 重命名功能 代码练习5 判断功能 代码练习6 获取功能 代码练习7 高级获取功能(重点) 代码练习8 练习:判
阅读全文
摘要:增强for循环 用ArrayList存储字符串,要求加入泛型,并用增强for遍历 获取10个1 20之间的随机数,要求不能重复 获取10个1 20之间的随机数,要求不能重复 / 获取10个1 20之间的随机数,要求不能重复 / import java.util.Random; import java
阅读全文