摘要：注：图片如果损坏，点击文章链接：https://www.toutiao.com/i6809285459722633736/ 创建工程 使用maven工程 勾选，然后下一步 填写基本信息 注意改一下编码和JDK pom配置（附在文档后面） 引入jar(这个包一直不能下载，所以另外导入) 创建运行类 编
阅读全文
摘要：注：图片如果损坏，点击文章链接：https://www.toutiao.com/i6803544440112677379/ 首先完成分页 引入PageHelper(之前已经添加过了) 在spring-persist-mybatis.xml配置PageHelper插件 找到AdminMapper.xm
阅读全文
摘要：注：图片如果损坏，点击文章链接： https://www.toutiao.com/i6803542216150090252/ 继续之前完成的内容，首先创建一个常量类 常量类的内容 服务器端渲染 前后端分离 完成后台管理登录页面 进入前端静态资源 创建后台管理员登录页面admin-login.jsp
阅读全文
摘要：注：图片如果损坏，点击文章链接：https://www.toutiao.com/i6803355920697917965/ 首先配置learn-admin-webui中的web.xml文件 配置ContextLoaderListener ContextLoaderListener的作用：加载 Spr
阅读全文
摘要：注：图片如果损坏，点击文章链接：https://www.toutiao.com/i6806672112477012493/ 在linux中nginx日志产生的格式是下面的配置： $remote_addr^A$msec^A$http_host^A$request_uri 然后准备好了获取的日志数据 创
阅读全文
摘要：原文链接： https://www.toutiao.com/i6803235766274097678/ 在learn-admin-component子工程中加入搭建环境所需要的具体依赖（因为比较长配置信息放到文档后面） 在learn-admin-webui配置jdbc.propertis 配置内容
阅读全文
摘要：原文链接： https://www.toutiao.com/i6802935050196222471/ 工程创建 Maven创建工程 搜索maven找到project的创建 创建simple project 填写group和artifact 项目 继续创建Module 选择Module 填写信息 选
阅读全文
摘要：原文链接： https://www.toutiao.com/i6773241257528394248/ 之前我们做过《java mapreduce实现网站PV分析》，这次我们可以用hive分析一些需求指标 提出需求：统计分析24小时各个时段的pv和uv 分析： （1） pv统计总的浏览量 count
阅读全文
摘要：原文链接： https://www.toutiao.com/i6772133439593251339/ 打开系统的注册表 键盘输入win+r组合键出现运行窗口命令 输入regedit 按回车键，进入注册表编辑器 依次展开"HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\W
阅读全文
摘要：原文链接： https://www.toutiao.com/i6772128429614563843/ 首先我们已经安装好sqoop了，如果没有安装好参考文档《快速搭建CDH-Hadoop-Hive-Zoopkeeper-Sqoop环境进入Sqoop学习环境》 准备一些基本的认识 1、sqoop分为
阅读全文
摘要：原文链接： https://www.toutiao.com/i6771763211927552523/ CDH简单了解 CDH: C：cloudera(公司) D：distribute H：Hadoop 解决了大数据Hadoop 2.x生态系统中各个框架的版本兼容问题，不用自己编译, CDH适合商用
阅读全文
摘要：原文链接： https://www.toutiao.com/i6771018203687551495/ Hive的连接 启动hadoop的时候将history也启动，如果出问题，可以方便我们后续定位 首先将Hive变成对外开放 启动hiveserver2 我们查看下 如果杀掉需要用kill -9 P
阅读全文
摘要：原文链接： https://www.toutiao.com/i6770870821809291788/ Hive和mapreduce相关的排序和运行的参数 1.设置每个reduce处理的数据量（单位是字节） 我们在hive中查看下 配置文件hive-site.xml.template 我们打开配置文
阅读全文
摘要：原文： https://www.toutiao.com/i6769166601871688196/?group_id=6769166601871688196 数据的导入 load data [local] 创建数据表 加载数据 load data local inpath '/data/hivete
阅读全文
摘要：原文： https://www.toutiao.com/i6769120000578945544/?group_id=6769120000578945544 我们先准备数据库、表和数据 开窗分析函数相对于mysql中的聚合函数区别是：分析函数是基于某个组多个数据进行计算聚合，而聚合函数是每个组返回一
阅读全文
摘要：原文链接： https://www.toutiao.com/i6766897068138037763/?group_id=6766897068138037763 我们看官网文档中这个地方 我们先创建好数据库，以供练习 使用数据库 我们创建数据表 我们创建分区表，选取的字段不能是表中存在的字段 元数据
阅读全文
摘要：原文链接： https://www.toutiao.com/i6766784274965201415 一、普通建表方式 create table stu_info( id int, name string )ROW FORMAT DELIMITED FIELDS TERMINATED BY ' '
阅读全文
摘要：原文链接： https://www.toutiao.com/i6766571623727235595/?group_id=6766571623727235595 一、概念： 1、结构化和非结构化数据 结构化数据：固有的键值对 非结构数据：没有固定的键值对，没有明确的映射关系 所以就可以理解下面这句话
阅读全文
摘要：原文链接： https://www.toutiao.com/i6765808056191156748/ 目的： 二次排序就是有下面的数据 a 3 a 1 a 100 c 1 b 2 如果只按照abc排序就会变成 a 3 a 1 a 100 b 2 c 1 我们希望是第二列也参与排序 a 1 a 3
阅读全文
摘要：原文链接： https://www.toutiao.com/i6765677128022229517/ PV 是Page Views的缩写，即页面浏览量，用户每一次对网站中的每个网页访问均被记录一次。注意，访客每刷新一次页面，pv就增加一次。 我们目前的数据是： 其中的数据我们会得到标注 根据标注我
阅读全文
摘要：原文链接： https://www.toutiao.com/i6764933201203823107/ 概念："数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。 数据去重的最终目标是让原始数据
阅读全文
摘要：原文： https://www.toutiao.com/i6764683672772674062/ 在进入Map之前，首先会将数据从HDFS中读取，进行处理，按照字节偏移量这种之前说的形式处理为K,V对的形式，进入Map阶段。 其中InputFormat可以认为是一种类的继承关系，最终通过调用rea
阅读全文
摘要：原文链接： https://www.toutiao.com/i6764296608705151496/ 单词统计的是统计一个文件中单词出现的次数，比如下面的数据源 其中,最终出现的次数结果应该是下面的显示 那么在MapReduce中该如何编写代码并出现最终结果？ 首先我们把文件上传到HDFS中(hd
阅读全文
摘要：笔记总结链接：SpringBoot学习笔记合集
阅读全文
