摘要: 1下载hive 2安装 2.1上载和解压缩 2.2配置环境变量 2.3对hive进行配置 2.3.1 hive-site.xml相关的配置 2.3.1.1新建hive-site.xml文件 2.3.1.2使用hadoop新建hdfs目录 2.3.1.3检查hdfs目录是否创建成功 2.3.1.4修改 阅读全文
posted @ 2018-06-13 14:36 渔阳nice 阅读(176) 评论(0) 推荐(0) 编辑
摘要: 二、在Ubuntu下创建hadoop用户组和用户 这里考虑的是以后涉及到hadoop应用时,专门用该用户操作。用户组名和用户名都设为:hadoop。可以理解为该hadoop用户是属于一个名为hadoop的用户组,这是linux操作系统的知识,如果不清楚可以查看linux相关的书籍。 Ctrl+Alt 阅读全文
posted @ 2018-06-13 14:35 渔阳nice 阅读(1498) 评论(0) 推荐(0) 编辑
摘要: public static void paixu(String[]arr,int left,int right,int index) { if(left > right) { return; } // 0 gridId 1 maxlng 2 maxlat 3 minlng 4 minlat 以;号分 阅读全文
posted @ 2018-06-09 11:33 渔阳nice 阅读(119) 评论(0) 推荐(0) 编辑
摘要: /* 折半查找 */ /* 输出:9 */ static int BinarySearch(int [] a, int n, int key){ int low, high, mid; low = 0; high = n; while(low <= high){ mid = (low + high) 阅读全文
posted @ 2018-06-09 11:32 渔阳nice 阅读(137) 评论(0) 推荐(0) 编辑
摘要: @AutowiredMongoDatabase database;@Overridepublic List<Grid> getAdditionalGrid(String collection, int cityDataId) { MongoCollection<Document> gridColl 阅读全文
posted @ 2018-06-07 17:12 渔阳nice 阅读(3135) 评论(0) 推荐(0) 编辑
摘要: //修改字段名称,把synonymsList表的name_status修改为status db.getCollection('synonymsList').update({}, {$rename : {"name_status" : "status"}}, false, true) //把 from 阅读全文
posted @ 2018-06-05 19:37 渔阳nice 阅读(280) 评论(0) 推荐(0) 编辑
摘要: mongo单表导入导出 1.进入到MongoDB的安装目录的bin目录中。 2.导出单张表:mongoexport.exe -h IP地址 --port MongoDB数据库端口号 -u 登录用户名 -p=密码 -d 数据库名 -o f:\mongoHsdc.json -c 表名 (windows系 阅读全文
posted @ 2018-06-05 19:30 渔阳nice 阅读(171) 评论(0) 推荐(0) 编辑
摘要: 打包hadoop项目需要用fatjar插件进行打包,可以将第三方依赖一起编译进去,否则会找不到mapper类,或者找不到主类main方法。 解析缓存文件代码: @Override protected void setup(Context context) throws IOException, In 阅读全文
posted @ 2018-06-04 16:24 渔阳nice 阅读(456) 评论(0) 推荐(0) 编辑
摘要: 当客户端执行方法时,立即返回一个代理对象,此时代理对象没有数据,与此同时开启一个线程去构造真实对象并把真实对象替换掉代理对象(使用set方法)。所以就会出现,客户端收到代理对象之后以为执行完了然后执行下一步,当需要调用这个代理对象的方法时,方法中返回的是构造完毕的真实对象的数据; 利用其他方法的执行 阅读全文
posted @ 2018-05-24 18:00 渔阳nice 阅读(143) 评论(0) 推荐(0) 编辑
摘要: 需求是:安装hadoop连接远程hadoop文件系统。JDK和hadoop需要与集群版本一致 首先去官网下载hadoop http://archive.apache.org/dist/hadoop/core/hadoop-2.6.5/ 版本是2.6.5 下载190MB的那个包 下载下来后 配置D:\ 阅读全文
posted @ 2018-05-22 14:06 渔阳nice 阅读(134) 评论(0) 推荐(0) 编辑