zhangqi

摘要： 视图 视图接受Web请求并且返回Web响应 视图就是一个python函数，被定义在views.py中 响应可以是一张网页的HTML内容，一个重定向，一个404错误等等 响应处理过程如下图： URLconf 在settings.py文件中通过ROOT_URLCONF指定根级url的配置 urlpatt 阅读全文

摘要： 定义模型 在模型中定义属性，会生成表中的字段 django根据属性的类型确定以下信息： 当前选择的数据库支持字段的类型 渲染管理表单时使用的默认html控件 在管理站点最低限度的验证 django会为表增加自动增长的主键列，每个模型只能有一个主键列，如果使用选项设置某属性为主键列后，则django不 阅读全文

摘要： kafka如何保证数据的不丢失 1、生产者如何保证数据的不丢失：消息的确认机制，使用ack机制我们可以配置我们的消息不丢失机制为 1，保证我们的partition的leader与follower都保存好了数据 2、消费者如何保证不重复消费数据：offset偏移量，记录了我们的消息消费的偏移量，新版本 阅读全文

摘要： 配置flume.conf 为我们的source channel sink起名 a1.sources = r1 a1.channels = c1 a1.sinks = k1 指定我们的source收集到的数据发送到哪个管道 a1.sources.r1.channels = c1 指定我们的source 阅读全文

摘要： kafka manager监控工具的使用 第一步：对kafkamanager进行下载并编译 此步骤略：可参照成功与否不详，https://www.jianshu.com/p/174b6eb10d9d 第二步：上传编译好的压缩包并解压 将我们编译好的kafkamanager的压缩包上传到服务器并解压 阅读全文

摘要： http://www.runoob.com/cprogramming/c-tutorial.html 阅读全文

摘要： hive的数据压缩 在实际工作当中，hive当中处理的数据，一般都需要经过压缩，前期我们在学习hadoop的时候，已经配置过hadoop的压缩，我们这里的hive也是一样的可以使用压缩来节省我们的MR处理的网络带宽 1、MR支持的压缩编码 压缩格式 工具 算法 文件扩展名 是否可切分 DEFAULT 阅读全文

摘要： https://www.cnblogs.com/zhang-can/p/7215506.html 阅读全文

摘要： hive的数据存储格式 Hive支持的存储数的格式主要有：TEXTFILE（行式存储） 、SEQUENCEFILE(行式存储)、ORC（列式存储）、PARQUET（列式存储）。 1 列式存储和行式存储 上图左边为逻辑表，右边第一个为行式存储，第二个为列式存储。 行存储的特点： 查询满足条件的一整行数 阅读全文

摘要： Hive函数 1、内置函数 内容较多，见《Hive官方文档》 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 1）查看系统自带的函数 hive> show functions; 2）显示自带的函数的用法 hive 阅读全文