04 2020 档案
摘要：13-函数的嵌套调用应用-1 01-元组 元组的特点:定义好了,不能修改 02-定义函数 把一个独立的代码块当做一个整体,整体称之为函数. ctrl+d,拖动鼠标,快速选择所有行 ctrl +-->(上下左右的右键直接跳到行尾) 注意:定义一个函数,又叫封装 03-定义、调用函数 04-多个函数的定
阅读全文
摘要：01-字符串在内存中的存储方式 02-字符串类型的转换 03-输入、输出字符串 04-组成字符串的2种方式 05-字符串中的下标 06-切片，字符串逆序 逆序也称为倒序 07-字符串的常见操作 split利用for循环来统计每个单词的个数 08-列表的引入、定义、和C语言中的数组不同的点\ pyth
阅读全文
摘要：1、查询SQL尽量不要使用select *，而是select具体字段。 反例子： select * from employee; 正例子： select id，name from employee; 理由： 只取需要的字段，节省资源、减少网络开销。 select * 进行查询时，很可能就不会使用到覆
阅读全文
摘要：01-if比较运算符、and、or 02-使用if完成白富美 03-if语句的注意点 直接跳到第11行 注意: if最多有一个else 04-if逻辑运算符-not not 译为"非" 05-if-elif的使用1 07-while循环 08-while循环1-100之间的数 09-if嵌套、上火车
阅读全文
运行python程序时出现错误“SyntaxError: Non-ASCII character '\xe8' in file variable.py on line 1, but no encod”
摘要：在文件头部加上： # -*- coding: utf-8 -*-
阅读全文
摘要：DynamicParameter.java //主键自增,生成uuid的工具类 package com.nantian.sms.util; import java.text.SimpleDateFormat; public class DynamicParameter { /** * 获取20位随机
阅读全文
摘要：02-Ubuntu安装服务器 03-python的介绍-1 c语言执行过程,先编辑,再编译,后执行; python,在编译完之后,直接运行; Python 是一种解释型、面向对象、动态数据类型的高级程序设计语言 04-python的介绍-2 看源码,一定要查看它的低版本 06-第一个hellowor
阅读全文
摘要：转载于:https://www.cnblogs.com/rgever/p/10216068.html
阅读全文
摘要：15_装饰模式UML 为了给一个类现有功能的基础上,维护一些新的功能,虽然继承也可以为类拓展一些新的功能,但是装饰着模式更加的灵活 16_装饰模式需求实现
阅读全文
摘要：08_简单工厂模式的使用场景 为什么要使用简单工厂模式? 可以实现对象的获取,对象的使用; 适用于两种场景: 1).当一个类的实例化过程非常的复杂,但是还是有很多的地方用到它; 2).这个类有很多很多子类,平常的使用对其子类的使用很频繁,当使用它的时候,对其实例化是非常繁琐的 第一种场景: 第二种场
阅读全文
摘要：06_UML类图1-继承与实现 类的设计 类前面的符号: +号:代表public; - : private # : protected ~ : default 类与类之间的关系 箭头中间可以什么都不用写 接口 07_UML类图2-类与类之间的关系 1).关联关系:两个类之间可以互相持有,互相访问,彼
阅读全文
摘要：TypeC package com.qianfeng.adapter;public interface TypeC { String getInfo();} USB package com.qianfeng.adapter;public interface USB { String getInfo(
阅读全文
摘要：单例是为了解决全局只有一个实例这样的问题. 02_饿汉式单例 HungrySingleton.java package com.qianfeng.singleton;import java.nio.file.attribute.UserDefinedFileAttributeView;/** * 饿
阅读全文
摘要：一、 课程计划 目录 一、 课程计划 1 二、 模块开发 数据仓库设计 3 1． 维度建模基本概念 3 2． 维度建模三种模式 4 2.1． 星型模式 4 2.2． 雪花模式 5 2.3． 星座模式 6 3． 本项目中数据仓库的设计 7 3.1． 事实表设计 7 3.2． 维度表设计 8 三、 模块
阅读全文
摘要：一、 课程计划 目录 一、 课程计划 1 二、 网站流量日志数据分析系统 2 1． 点击流数据模型 2 1.1． 点击流概念 2 1.2． 点击流模型生成 3 2． 如何进行网站流量分析 4 2.1． 网站流量分析模型举例 5 2.2． 流量分析常见分类 8 三、 整体技术流程及架构 14 1． 数
阅读全文
摘要：17-网站流量日志分析-数据处理流程 18-网站流量日志分析-数据采集 19-网站流量日志分析-数据预处理 SOH为\001分隔符 20-网站流量日志分析-获取PageView表模型 21-网站流量日志分析-获取Visit表模型 2代表在session中访问了几个页面 22-网站流量日志分析-hiv
阅读全文
摘要：15-网站流量日志分析-分析模型 16-网站流量日志分析-分析指标
阅读全文
摘要：Day 07 1. Azkaban介绍 1.1. 为什么需要Azkaban 一个完整的数据分析系统通常都是由大量任务单元组成 shell脚本程序 java程序 mapreduce程序 hive脚本等 各任务单元之间存在时间先后及前后依赖关系, 为了很好地组织起这样的复杂执行计划， 需要一个工作流调度
阅读全文
摘要：10-sqoop入门介绍 11-sqoop安装 cd /export/servers/hadoop‐3.1.1/conf/ cp sqoop‐env‐template.sh sqoop‐env.sh vim sqoop‐env.sh export HADOOP_COMMON_HOME/export/
阅读全文
摘要：1-Azkaban介绍 2-Azkaban编译和安装模式 3-Azkaban-solo模式-安装 cd /export/softwares tar ‐zxvf azkaban‐solo‐server‐0.1.0‐SNAPSHOT.tar.gz ‐C ../servers/ cd /export/se
阅读全文
摘要：Day 06 Flume 1. Flume 介绍 1.1. 概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，又可以将采集到 的数据(下沉sink)输出到HDFS、hbase、hive
阅读全文
摘要：13-flume高可用-failover-模型分析(搭建一个Flume集群,当一个Flume挂掉之后,其他flume迅速补上) 14-flume高可用-failover-配置文件编写 vim agent.conf #agent1 name agent1.channels = c1 agent1.so
阅读全文
摘要：1-flume的概述和运行机制 2-flume案例-网络数据采集-Flume安装 3-flume案例-网络数据采集-Flume的配置 netcat-logger.conf # 定义这个agent中各组件的名字 a1.sources = r1 a1.sinks = k1 a1.channels = c
阅读全文
摘要：Note05 Hive 1. Hive 表操作 1.1. Hive 表创建语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT
阅读全文
摘要：18-Hive的基本操作-分组和多表连接 19-Hive的基本操作-排序 20-Hive的基本操作-内置函数 21-Hive的基本操作-自定义函数 pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http:/
阅读全文
摘要：Note05 Hive 1. 什么是数仓 1.1. 基本概念 英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环 境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。 数据仓库本身并不“生产”任何数据
阅读全文
摘要：1-数据仓库的基本特征 2-数据仓库和数据库的区别 3-数据仓库分层和元数据管理 4-Hive的基本介绍 5-Hive的架构 6-Hive和Hadoop及RDBMS关系 7-Hive的安装-Mysql安装 8-Hive的安装-Hive配置 hive-site.xml <?xml version="1
阅读全文
摘要：MapReduce任务 计数器 org.apache.hadoop.mapreduce.TaskCounter 文件系统计数器 org.apache.hadoop.mapreduce.FileSystemCounter FileInputFormat 计数器 org.apache.hadoop.ma
阅读全文
摘要：12-MapReduce运行机制-Map阶段 15-MapReduce-Reduce端join操作-步骤分析 利用MapReduce来模拟数据中的连表查询 orders.txt 1001,20150710,p0001,21002,20150710,p0002,31002,20150710,p0003
阅读全文
摘要：Maven项目在打jar包时，报错提示：[ERROR] No compiler is provided in this environment. Perhaps you are running on a JRE rather than a JDK? 报错的提示已经讲得很清楚，当前运行的环境为JRE，
阅读全文
