10 2021 档案

Docker错误:inotify_add_watch(7, /dev/dm-4, 10) failed: No such file or directory
摘要：centos7 docker 安装异常。 安装docker是先将yum更新一下 11月 12 15:04:49 localho... 阅读全文
posted @ 2021-10-28 23:00 赵广陆 阅读(256) 评论(0) 推荐(0) 编辑
Centos7 docker完美卸载
摘要：1.查询docker安装包 yum list installed | grep docker 2.删除安装包 yum remove... 阅读全文
posted @ 2021-10-28 22:45 赵广陆 阅读(360) 评论(0) 推荐(0) 编辑
mysqld: Can‘t read dir of ‘/etc/mysql/conf.d/‘ (Errcode: 13 - Permission denied)
摘要：在安装docker mysql：5.7版本时，出现错误： mysqld: Can't read dir of '/etc/mysql... 阅读全文
posted @ 2021-10-28 22:00 赵广陆 阅读(2243) 评论(0) 推荐(0) 编辑
大数据Hadoop集群的启动
摘要：目录 1 启动准备工作1.1 配置操作系统的环境变量1.2 创建Hadoop数据目录1.3 格式化文件系统1.4 启动和关闭Had... 阅读全文
posted @ 2021-10-27 21:30 赵广陆 阅读(807) 评论(0) 推荐(0) 编辑
Linux静态IP无法固定解决方案
摘要：目录 1 解决方法1.1 第一步是禁用NetworkManager服务1.2 第二步重启network服务1.3 如果没有效果可以... 阅读全文
posted @ 2021-10-27 20:45 赵广陆 阅读(107) 评论(0) 推荐(0) 编辑
大数据Hadoop集群运行程序
摘要：目录 1 运行自带的MapReduce程序2 常见错误 1 运行自带的MapReduce程序 下面我们在Hadoop集群上运行一... 阅读全文
posted @ 2021-10-27 20:45 赵广陆 阅读(82) 评论(0) 推荐(0) 编辑
Linux集群常用操作
摘要：目录 1 设置主机名2 修改host3 关闭防火墙4 对所有集群发送统一命令5 固定ip地址5 免密配置5.1 Master节点的... 阅读全文
posted @ 2021-10-26 22:55 赵广陆 阅读(110) 评论(0) 推荐(0) 编辑
大数据存储方案
摘要：目录 1 结构布局1.1 行存储数据排列1.2 列存储数据排列 2 对比3 优化4 总结 1 结构布局 目前大数据存储有两种方... 阅读全文
posted @ 2021-10-25 20:45 赵广陆 阅读(1628) 评论(0) 推荐(0) 编辑
大数据Spark MLlib基于模型的协同过滤
摘要：目录 1 简介2 隐语义模型（LFM）3 LFM 降维方法 —— 矩阵因子分解3.1 矩阵因子分解3.2 矩阵因子分解计算 4 ... 阅读全文
posted @ 2021-10-25 20:30 赵广陆 阅读(212) 评论(0) 推荐(0) 编辑
大数据Spark MLlib推荐算法
摘要：目录 1 相似度算法1.1 欧几里德距离算法1.2 基于夹角余弦相似度算法 2 最近邻域3 交替最小二乘法3.1 最小二乘法3.... 阅读全文
posted @ 2021-10-24 18:22 赵广陆 阅读(163) 评论(0) 推荐(0) 编辑
企业微信开发之获取media_id的值
摘要：在很多地方的微信开发中有关于获取media_id值得问题，比如某些图片信息的引用就会有media_id这个参数， 为了更简洁的获得参... 阅读全文
posted @ 2021-10-19 20:15 赵广陆 阅读(322) 评论(0) 推荐(0) 编辑
Java实现企业微信上传临时文件获取media_id
摘要：目录 1 上传临时素材API2 测试代码3 测试完成4 遇到的问题4.1 文件类型无法解析 1 上传临时素材API 调试工具 ... 阅读全文
posted @ 2021-10-19 11:17 赵广陆 阅读(2502) 评论(0) 推荐(2) 编辑
企业微信接收回调
摘要：目录 1 应用场景1.1 企微后台配置1.2 配置配置项 2 回调接口2.1 请求方式get2.2 请求方式post 3 解析... 阅读全文
posted @ 2021-10-18 22:30 赵广陆 阅读(1476) 评论(0) 推荐(1) 编辑
Java报错：java.security.InvalidKeyException: Illegal key size
摘要：目录 1 报错场景1.1 产生错误原因1.2 为什么会产生这样的错误 2 解决方案2.1 具体下载、解压、替换步骤 1 报错... 阅读全文
posted @ 2021-10-18 22:00 赵广陆 阅读(93) 评论(0) 推荐(0) 编辑
ES面试连环炮
摘要：目录 1 全文检索的介绍2 elasticSearch的介绍3 elasticsearch的核心概念3.1 索引 index3.2... 阅读全文
posted @ 2021-10-16 21:52 赵广陆 阅读(55) 评论(0) 推荐(0) 编辑
Kafka面试连环炮
摘要：目录 1 kafka介绍2 kafka相比其他消息队列的优势3 kafka的术语3.1 kafka中的术语名词 4 kafka的... 阅读全文
posted @ 2021-10-16 21:46 赵广陆 阅读(70) 评论(0) 推荐(0) 编辑
HBase面试连环炮
摘要：目录 1 HBASE介绍2HBASE和Hdfs的区别3 Redis，传统数据库，HBase，Hive4 HBASE的架构5 常用H... 阅读全文
posted @ 2021-10-16 21:42 赵广陆 阅读(33) 评论(0) 推荐(0) 编辑
Sqoop面试题
摘要：目录 1 sqoop介绍2 sqoop常见问题2.1 sqoop中文数据乱码问题2.2 sqoop中文数据乱码问题2.3 data... 阅读全文
posted @ 2021-10-16 21:36 赵广陆 阅读(200) 评论(0) 推荐(0) 编辑
Hadoop Yarn面试连环炮
摘要：目录 1 介绍yarn2 yarn的基本架构3 yarn三大组件3.1 ResourceManager3.2 NodeManage... 阅读全文
posted @ 2021-10-16 21:26 赵广陆 阅读(27) 评论(0) 推荐(0) 编辑
MapReduce面试连环炮
摘要：目录 1 介绍MapReduce2 会写Wordcount3 Combiner4 partitioner5 MapReduce的执... 阅读全文
posted @ 2021-10-16 21:18 赵广陆 阅读(48) 评论(0) 推荐(0) 编辑
Hadoop面试连环炮
摘要：目录 1 Hadoop1.1 介绍Hadoop1.2 Hadoop特性优点1.3 hadoop集群中hadoop都需要启动哪些进程... 阅读全文
posted @ 2021-10-16 21:11 赵广陆 阅读(39) 评论(0) 推荐(0) 编辑
企业微信开发OA审批
摘要：目录 1 OA-审批1.1 场景描述1.2 与审批流程引擎的区别 2 获取审批模板详情2.1 线上调试2.2 代码实战2.2.1... 阅读全文
posted @ 2021-10-14 23:15 赵广陆 阅读(1010) 评论(0) 推荐(0) 编辑
Ubuntu16搭建JDK运行环境
摘要：目录 1 下载linux对应的安装包2 解压安装包jdk-8u171-linux-x64.tar.gz3 将解压后的文件夹移到/u... 阅读全文
posted @ 2021-10-12 22:30 赵广陆 阅读(53) 评论(0) 推荐(0) 编辑
Ubuntu防火墙使用
摘要：目录 1 安装方法2 使用方法2.1 启用2.2 关闭2.3 查看防火墙状态 1 安装方法 sudo apt-get inst... 阅读全文
posted @ 2021-10-12 22:30 赵广陆 阅读(53) 评论(0) 推荐(0) 编辑
微信公众号发送模板消息
摘要：目录 1 开发中遇到的问题汇总2 模板消息创建3 调试接口3.1 微信公众号消息模板3.1.1 基本信息 3.2 请求参数3.... 阅读全文
posted @ 2021-10-12 22:00 赵广陆 阅读(416) 评论(0) 推荐(0) 编辑
Hdfs连接报错java.net.ConnectException: Connection timed out: no further information
摘要：目录 1 连接超时2 排查具体问题2.1.检查网络能不能ping通,防火墙问题2.2 检查zookeeper有没有开启2.3 最后... 阅读全文
posted @ 2021-10-11 21:30 赵广陆 阅读(578) 评论(0) 推荐(0) 编辑
Idea中创建scala项目中Cannot resolve plugin org.scala-tools:maven-scala-plugin: unknown
摘要：目录 1 maven-scala-plugin插件无法加载的问题2 排查解决 1 maven-scala-plugin插件无法加... 阅读全文
posted @ 2021-10-11 21:00 赵广陆 阅读(687) 评论(0) 推荐(0) 编辑
Mysql报错UncategorizedSQLException无法插入表情
摘要：目录 1 插入数据时无法插入的数据如下2 解决方法3 utf8和utf8mb4的区别 1 插入数据时无法插入的数据如下 数据库存... 阅读全文
posted @ 2021-10-09 20:15 赵广陆 阅读(241) 评论(0) 推荐(0) 编辑
Rest实现多文件上传
摘要：目录 1 实例代码2 遇到的坑3 请求实例 1 实例代码 以下代码都是经过测试可直接使用 @ApiOperatio... 阅读全文
posted @ 2021-10-08 21:00 赵广陆 阅读(365) 评论(0) 推荐(0) 编辑
大数据Nifi处理器
摘要：目录 1 处理器介绍1.1 查看处理器1.2 常用处理器 - 整理 2 配置处理器2.1 添加一个处理器2.2 配置处理器配置项... 阅读全文
posted @ 2021-10-07 13:06 赵广陆 阅读(125) 评论(0) 推荐(0) 编辑
大数据Nifi常用组件
摘要：目录 1 常用组件1.1 处理器( processor )1.2 数据流传入点（input-port）1.3 数据流输出点（out... 阅读全文
posted @ 2021-10-07 12:40 赵广陆 阅读(126) 评论(0) 推荐(0) 编辑
大数据Nifi环境搭建
摘要：目录 1 单机运行环境准备。2 下载3 修改默认端口4 启动 1 单机运行环境准备。 Apache nifi即可运行在Windo... 阅读全文
posted @ 2021-10-07 12:21 赵广陆 阅读(124) 评论(0) 推荐(0) 编辑
大数据Nifi简介
摘要：目录 1 NIFI简介2 NIFI核心概念3 NIFI构架3.1 网络服务器3.2 流控制器3.3 扩展3.4 FlowFile存... 阅读全文
posted @ 2021-10-07 12:01 赵广陆 阅读(395) 评论(0) 推荐(0) 编辑
大数据采集系统搭建
摘要：目录 1 采集系统介绍2 采集系统搭建2.1 配置2.2 启动 3 提交 Connector3.1 提交 Connector3.... 阅读全文
posted @ 2021-10-06 21:39 赵广陆 阅读(249) 评论(0) 推荐(0) 编辑
大数据ETL简介
摘要：目录 1 数据抽取2 数据转换3 数据加载 1 数据抽取 ETL（Extract-Transform-Load）是将数据从来源端... 阅读全文
posted @ 2021-10-06 20:13 赵广陆 阅读(393) 评论(0) 推荐(0) 编辑
数据仓库建模
摘要：目录 1 常见的建模方法1.1. 星型模型1.2. 雪花模型 2 数据分层方法2.1 调用原则 3 数据仓库分层3.1 空间换... 阅读全文
posted @ 2021-10-06 16:27 赵广陆 阅读(333) 评论(0) 推荐(0) 编辑
Hive整合Hue组件使用
摘要：目录 1 hue的安装部署与介绍2 登陆hue3 Hue组件使用3.1 hive3.1.1 hive界面介绍3.1.2 执行hiv... 阅读全文
posted @ 2021-10-06 16:14 赵广陆 阅读(247) 评论(0) 推荐(0) 编辑
Hive数据仓库维度分析
摘要：目录 1 指标与维度2 业务需求3 识别维度4 关键指标5 分层与分级 1 指标与维度 这里个人理解:先有指标后有维度,指标... 阅读全文
posted @ 2021-10-06 15:47 赵广陆 阅读(260) 评论(0) 推荐(0) 编辑
Zeppelin调试Spark程序
摘要：目录 1 什么是Zeppelin2 Zeppelin配置spark3 Zeppein运行spark程序3.1 创建spark no... 阅读全文
posted @ 2021-10-05 23:54 赵广陆 阅读(297) 评论(0) 推荐(0) 编辑
大数据Spark MLlib推荐系统
摘要：目录 1 从广告说起推荐系统2 什么是推荐系统？3 电商是推荐系统的先行者4 推荐系统业务流程5 推荐系统所涉及到的知识6 协同过... 阅读全文
posted @ 2021-10-04 23:09 赵广陆 阅读(99) 评论(0) 推荐(0) 编辑
大数据Spark MLlib机器学习
摘要：目录 1 什么是Spark MLlib？2 支持的数据类型2.1 本地向量集2.1.1、密集型数据集2.1.2 稀疏型数据集 ... 阅读全文
posted @ 2021-10-04 15:34 赵广陆 阅读(180) 评论(0) 推荐(0) 编辑