09 2018 档案

sqoop从mysql导入hive的一些问题
摘要：1.错误：Sqoop:Import failed: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf 解决方法： 在/etc/profile中添加下面一行 export HADOOP_CLASSPATH=$H 阅读全文
posted @ 2018-09-23 01:49 gloomysun 阅读(751) 评论(0) 推荐(0) 编辑
HADOOP学习笔记（二）：mapreduce
摘要：前言 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。 MapReduce进程 一个完整的mapreduce 阅读全文
posted @ 2018-09-14 13:59 gloomysun 阅读(239) 评论(0) 推荐(0) 编辑
HADOOP学习笔记（一）：HDFS
摘要：前言 HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。 HDFS架构 NameNode 是整个 阅读全文
posted @ 2018-09-14 10:35 gloomysun 阅读(172) 评论(0) 推荐(0) 编辑
REST framework组件-分页
摘要：待补 阅读全文
posted @ 2018-09-08 21:13 gloomysun 阅读(83) 评论(0) 推荐(0) 编辑
REST framework组件-认证、权限、限制
摘要：认证 定义user表和token表 定义一个登录视图 定义一个认证类 视图级别认证 全局级别认证 权限 自定义一个权限类 视图级别配置 全局级别设置 限制（待续） 阅读全文
posted @ 2018-09-08 20:59 gloomysun 阅读(223) 评论(0) 推荐(0) 编辑
REST framework组件-视图
摘要：mixin类编写视图 使用通用的基于类的视图 viewsets.ModelViewSet url.py: 或者 views.py 阅读全文
posted @ 2018-09-02 13:41 gloomysun 阅读(103) 评论(0) 推荐(0) 编辑