01 2021 档案

摘要：转载于：https://www.cnhawkit.com/1344.html 阅读全文

posted @ 2021-01-30 19:02 金色的鱼儿阅读(3673) 评论(0) 推荐(0)

摘要：参考： https://www.cnblogs.com/barneywill/p/10400788.html CM金丝雀Canary报错 1 HDFS 金丝雀Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录。 2 Hiv 阅读全文

posted @ 2021-01-29 10:47 金色的鱼儿阅读(310) 评论(0) 推荐(0)

datanode报错Problem connecting to server

摘要：从节点datanode启动成功,但是后台查看发现未连接namenode,查看日志提示如下: 2019-02-26 13:53:16,307 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to serv 阅读全文

posted @ 2021-01-29 10:38 金色的鱼儿阅读(1280) 评论(0) 推荐(0)

使用命令查看hdfs的状态

摘要：使用如下命令： hdfs dfsadmin -report 转载于：https://blog.csdn.net/smugaoyi/article/details/64497935 阅读全文

posted @ 2021-01-29 10:02 金色的鱼儿阅读(1514) 评论(0) 推荐(0)

Access denied for user root. Superuser privilege is requ

摘要：在使用 cloudera manager 安装 hdfs 的过程中，报错 using /usr/java/jdk1.7.0_67/ as JAVA_HOME using 5 as CDH_VERSION using /opt/cm-5.7.0/run/cloudera-scm-agent/proce 阅读全文

posted @ 2021-01-29 10:00 金色的鱼儿阅读(896) 评论(0) 推荐(0)

java两个List的交集，并集

摘要：文章来源:https://www.cnblogs.com/qdhxhz/p/10787130.html 非对象集合交、并、差处理方法一:使用apache的CollectionUtils工具类(推荐) public static void main(String[] args) { String[] 阅读全文

posted @ 2021-01-22 21:30 金色的鱼儿阅读(1329) 评论(0) 推荐(0)

ElasticSearch默认的分页参数 size

摘要：需要搜索分页，可以通过from size组合来进行。from表示从第几行开始，size表示查询多少条数据。from默认为0，size默认为10，如果搜索size大于10000，需要设置index.max_result_window参数，默认为10000。转载于：https://blog.csd 阅读全文

posted @ 2021-01-21 13:56 金色的鱼儿阅读(1404) 评论(0) 推荐(0)

SparkStreaming Kafka 维护offset

摘要：文章目录 Kafka itself own data store for MySql own data store for Redis 生产SparkStreaming数据零丢失实验 SparkStreaming Kafka 维护offset 官网有三种实现方式 Checkpoints Kafka 阅读全文

posted @ 2021-01-20 18:54 金色的鱼儿阅读(662) 评论(0) 推荐(0)

【容错篇】Spark Streaming的还原药水——Checkpoint

摘要：一个 Streaming Application 往往需要7*24不间断的跑，所以需要有抵御意外的能力（比如机器或者系统挂掉，JVM crash等）。为了让这成为可能，Spark Streaming需要 checkpoint 足够多信息至一个具有容错设计的存储系统才能让 Application 从失阅读全文

posted @ 2021-01-20 18:42 金色的鱼儿阅读(393) 评论(0) 推荐(0)

干货 | Spark Streaming 和 Flink 详细对比

摘要：干货 | Spark Streaming 和 Flink 详细对比 https://mp.weixin.qq.com/s/Fb1cW0oN7xYeb1oI2ixtgQ 阅读全文

posted @ 2021-01-20 18:18 金色的鱼儿阅读(538) 评论(0) 推荐(0)

持续集成与自动化部署 - jenkins与sonar、gitlab集成（六）

摘要：持续集成与自动化部署 - jenkins与sonar、gitlab集成（六）阅读全文

posted @ 2021-01-20 16:03 金色的鱼儿阅读(137) 评论(0) 推荐(0)

安装和使用GitLab

摘要：安装和使用GitLab 阅读全文

posted @ 2021-01-20 16:02 金色的鱼儿阅读(90) 评论(0) 推荐(0)

注意sonarQube与sonarRunner 的版本匹配

摘要：最近在windows上搭建sonar代码质量管理平台，这种遇到了几多挫折，现整理下来，给其他有此方面遭遇的伙伴借鉴。一.搭建sonarQube 1.去官网http://www.sonarqube.org/downloads/ 下载sonarqube版本（我最开始下载的是最新sonarqube-5. 阅读全文

posted @ 2021-01-19 14:53 金色的鱼儿阅读(380) 评论(0) 推荐(0)

另一个程序正在使用此文件，进程无法访问

摘要：1.Network Error (tcp_error) A communication error occurred: "Operation timed out" 看上去是服务器出错了，还说什么服务器忙，其实是服务器上防火墙没有为这个站点配置入站规则，给这个站点配置一个入站规则就好了。 2.另一个程阅读全文

posted @ 2021-01-19 14:13 金色的鱼儿阅读(2756) 评论(0) 推荐(1)

使用SonarQube和SonarQube Scanner分析项目

摘要：一、概述 SonarQube的安装，请参考链接：https://www.cnblogs.com/xiao987334176/p/12011623.html 配置好sonar的服务端后，接下来就要使用sonar检测我们的代码了，sonar主要是借助客户端检测工具来检测代码，所以要使用sonar就必须先阅读全文

posted @ 2021-01-19 13:45 金色的鱼儿阅读(372) 评论(0) 推荐(0)

Window 环境下SonarQube的安装与部署

摘要：SonarQube 简介 Sonar (SonarQube)是一个开源平台，用于管理源代码的质量。 Sonar 不只是一个质量数据报告工具，更是代码质量管理平台。支持java, C#, C/C++, PL/SQL, Cobol, JavaScrip, Groovy 等等二十几种编程语言的代码质量管阅读全文

posted @ 2021-01-19 13:27 金色的鱼儿阅读(1039) 评论(0) 推荐(0)

Jenkins教程：在Windows平台安装Jenkins

摘要：Jenkins教程：在Windows平台安装Jenkins 转载于：https://www.cnblogs.com/dotnet261010/p/11495762.html 阅读全文

posted @ 2021-01-19 11:19 金色的鱼儿阅读(86) 评论(0) 推荐(0)

windows下安装Hadoop,就是这么简单

摘要：Hadoop集群肯定还是要在linux下使用好些，但是对于想尝鲜的开发者或者上层应用开发来说，在windows下搭建一个单节点的应用也是蛮有必要的，当然只作为开发测试环境^_^。一、环境准备 1、JDK安装 2、Hadoop安装包（官网下载） 3、hadooponwindows-master（可使阅读全文

posted @ 2021-01-19 10:59 金色的鱼儿阅读(4505) 评论(0) 推荐(0)

HADOOP之YARN简介

摘要：yarn的诞生：hadoop1.x版本JobTracker的作用是资源管理和任务的调度，当存在多个计算框架时，比如说spark，如果两个计算框架都有着自己的资源管理模块，就会存在资源竞争，不便于管理。此时就需要一个公共的资源管理模块，这就产生了YARN. hadoop2.x上的mapreduce是基阅读全文

posted @ 2021-01-18 21:32 金色的鱼儿阅读(769) 评论(0) 推荐(0)

Hadoop之HDFS中HA的搭建

摘要：Hadoop 1.0存在的问题：单点故障和内存受限（1）NameNode单点故障（NameNode只有一个，一旦宕机了，则数据就会丢失，虽然有配置SecondaryNameNode，但是SecondardyNameNode 合并元数据和日志文件需要时间的，所有还是会有部分数据会丢失）（2）Nam 阅读全文

posted @ 2021-01-18 21:12 金色的鱼儿阅读(445) 评论(0) 推荐(0)

Hadoop 完全分布式搭建

摘要：一、安装一台全新的Redhat 。二、更改静态IP地址（1）获取本机IP地址， ifconfig -a (2) 更改hosts 文件 vim /etc/hosts （3）更改hostname vim /etc/sysconfig/network （4）配置静态IP地址 vim /etc 阅读全文

posted @ 2021-01-18 21:08 金色的鱼儿阅读(130) 评论(0) 推荐(0)

Hadoop HA 模式搭建

摘要：一、 Hadoop 集群架构设计二、搭建集群修改IP地址与hostname以及部署zookeeper、hadoop见上一篇博文《Hadoop 完全分布式搭建》。三、修改配置文件修改nna上的core-site.xml <configuration> <!-- 指定hdfs的names 阅读全文

posted @ 2021-01-18 21:01 金色的鱼儿阅读(135) 评论(0) 推荐(0)

一篇搞懂Sqoop

摘要：Sqoop产生背景（一） Sqoop 的产生主要源于： 1、目前很多使用hadoop技术的企业，有大量的数据存储在传统关系型数据库中。 2、早期由于工具的缺乏，hadoop与传统数据库之间的数据传输非常困难。 1）传统数据库中的数据导入到hadoop中，便于廉价的分析与处理 2）hadoop中的数据阅读全文

posted @ 2021-01-18 20:36 金色的鱼儿阅读(1797) 评论(0) 推荐(0)

解决Maven重复依赖问题（同一个jar，多个版本）

摘要：问题描述现在开发项目，一般都会创建maven工程，用它来管理依赖实在是方便了，当然它还有其它用途。但是在实际的情况中往往会有重复依赖的问题，比如创建的工程A，依赖了b-1.0.jar，而b-1.0.jar又依赖了d-1.0.jar（这个我们本身是不能直接看到的），同时我们自己的工程又依赖了d-2. 阅读全文

posted @ 2021-01-18 16:28 金色的鱼儿阅读(8611) 评论(0) 推荐(0)

HADOOP基础学习四（用JAVA将HDFS中的数据插入到MYSQL中）

摘要：一、从主节点中查看要插入的文件在HDFS上的元信息数据并没有存放在主节点中，主节点用于维护文件系统，存放元信息（文件的属性，路径，大小，在DN上的位置信息等）二、在MYSQL中建好表用于插入数据三、编写代码 java中要有Hadoop和数据库的依赖包 package hdfs; import 阅读全文

posted @ 2021-01-18 15:45 金色的鱼儿阅读(483) 评论(0) 推荐(0)

文件存储HDFS和数据库MySQL双向数据迁移

摘要：本文档介绍如何使用Sqoop工具实现文件存储HDFS和关系型数据库MySQL之间的双向数据迁移。背景信息 Sqoop是一款开源的工具，主要用于在Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据。既可以将一个关系型数据库（MySQL 、Oracle 、Postgres等）中的数据导阅读全文

posted @ 2021-01-18 15:41 金色的鱼儿阅读(700) 评论(0) 推荐(0)

Hadoop中HDFS是怎么维护数据的

摘要：HDFS文件的系统中，是将文件分为多个block进行存储的，并将存储的block赋值多个副本，存储在不同的主机上，那么HDFS是怎么来维护这些数据的呢，文件是存储在哪里？首先，hafs文件系统中，文件是存储在哪里。很多人会说，当然存储在磁盘上，如果真的只是存储存在磁盘上，那么从hdfs中读取文件阅读全文

posted @ 2021-01-18 15:05 金色的鱼儿阅读(336) 评论(0) 推荐(0)

大数据之Hbase（一）：HBase简介、BigTable、面向列的数据库、非结构化数据存储、HBase在Hadoop生态中的地位、 HBase与HDFS、HBase使用场景

摘要：文章目录 5.1 HBase简介什么是HBase BigTable 面向列的数据库什么是非结构化数据存储 HBase在Hadoop生态中的地位 HBase与HDFS HBase使用场景 5.1 HBase简介 1 什么是HBase HBase是一个分布式的、面向列的开源数据库 HBase是Goo 阅读全文

posted @ 2021-01-18 15:03 金色的鱼儿阅读(684) 评论(0) 推荐(0)

网易大数据之数据存储：HDFS

摘要：一、HDFS基础架构 1、HDFS特点：水平扩展、高容错性、廉价硬件、开源生态系统 2、Hadoop生态圈 1）、分布式存储系统（HDFS），2）、资源管理框架（YARN），3）、批处理框架（MapReduce、Pig），4）、数据仓库（Hive），5）、NoSQL系统（HBase、Drill），6 阅读全文

posted @ 2021-01-18 14:34 金色的鱼儿阅读(771) 评论(0) 推荐(0)

hdfs常见操作java示例

摘要：我们学习hadoop，最常见的编程是编写mapreduce程序，但是，有时候我们也会利用java程序做一些常见的hdfs操作。比如删除一个目录，新建一个文件，从本地上传一个文件到hdfs等，甚至是追加内容到hdfs文件中。这里介绍一些常见的hdfs操作的java示例，帮助我们加深对hdfs的理解。阅读全文

posted @ 2021-01-18 13:53 金色的鱼儿阅读(464) 评论(0) 推荐(0)

Hadoop基础---HDFS的Java客户端编写

摘要：Hadoop基础 HDFS的Java客户端编写目录补充：Eclipse自动补全快捷键一：导入jar包（一）定义用户依赖库（二）导入 hdfs基础jar包（三）导入hdfs基础jar包所依赖的库（四）导入公共jar包（五）导入公共jar包所需lib库（六）：创建类二：实现下载文件（一阅读全文

posted @ 2021-01-18 13:48 金色的鱼儿阅读(154) 评论(0) 推荐(0)

Sqoop2 从MySQL导入数据到Hadoop HDFS

摘要：前言 Apache Sqoop(TM) is a tool designed for efficiently transferring bulk data between Apache Hadoop and structured datastores such as relational datab 阅读全文

posted @ 2021-01-18 11:23 金色的鱼儿阅读(587) 评论(0) 推荐(0)

mysql数据与Hadoop之间导入导出之Sqoop实例

摘要：前面介绍了sqoop1.4.6的如何将mysql数据导入Hadoop之Sqoop安装，下面就介绍两者间的数据互通的简单使用命令。显示mysql数据库的信息，一般sqoop安装测试用 sqoop list-databases --connect jdbc:mysql://192.168.2.101 阅读全文

posted @ 2021-01-18 10:48 金色的鱼儿阅读(213) 评论(0) 推荐(0)

如何将mysql数据导入Hadoop之Sqoop安装

摘要：Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库阅读全文

posted @ 2021-01-18 10:41 金色的鱼儿阅读(247) 评论(0) 推荐(0)

大数据场景下数据异构之 Mysql实时写入HBase（借助canal kafka SparkStreaming）

摘要：背景：公司线下ETC机房有个Mycat集群，供订单系统使用，现需要进行数据异构将Mysql数据(近)实时写入另一套数据库用作读请求和数据归档用技术选型：binlog解析工具：阿里开源的canal 消息中间件：kafka 流式框架：SparkStreaming上代码canal解析mysqlbinlog 阅读全文

posted @ 2021-01-16 14:02 金色的鱼儿阅读(469) 评论(0) 推荐(0)

架构 | 京东商品搜索架构设计

摘要：电商搜索系统存在以下特点：数据量庞大。（上亿级别）高并发。（日均pv过亿、数十亿）一条商品数据由商品基本信息、价格、库存、促销、评价等组成，这些数据存储在各自业务系统当中。（多数据源导致构建索引比较麻烦）召回率要求高。（哪个商家发现搜不到自家的商品肯定要抓狂，哪怕有一个搜不到。）时效性要求高，价格变阅读全文

posted @ 2021-01-15 20:59 金色的鱼儿阅读(905) 评论(0) 推荐(0)

详谈京东的商品搜索系统架构设计

摘要：京东商品搜索引擎是搜索推荐部自主研发的商品搜索引擎，主要功能是为海量京东用户提供精准、快速的购物体验。虽然只有短短几年的时间，我们的搜索引擎已经经过了多次618店庆和双11的考验，目前已经能够与人们日常使用的如谷歌、百度等全文搜索引擎相比，我们的产品与其有相通之处，比如涵盖亿级别商品的海量数据、支持阅读全文

posted @ 2021-01-15 20:56 金色的鱼儿阅读(1213) 评论(0) 推荐(0)

springboot和hadoop2.7.7集成开发

摘要：https://www.cnblogs.com/ywjfx/p/11352892.html 阅读全文

posted @ 2021-01-15 20:26 金色的鱼儿阅读(479) 评论(0) 推荐(0)

使用canal数据同步的踩坑

摘要：https://blog.csdn.net/weixin_44188501/article/details/107392089 阅读全文

posted @ 2021-01-15 20:25 金色的鱼儿阅读(1542) 评论(0) 推荐(0)

Canal项目启动失败

摘要：错误信息： END 阅读全文

posted @ 2021-01-15 19:10 金色的鱼儿阅读(463) 评论(0) 推荐(0)

Maven依赖分析,jar包冲突解决利器intellij idea插件Maven Helper强烈建议安装

摘要：还在为解决jar包依赖冲突痛苦??? 那就好好看看下面的文章吧! 目前大多公司的java项目都以Maven项目为主,最近也通过Maven Helper解决了一些生产问题，在这里分享一下安装和基本使用方法! 安装方法： File-Settings-Plugins 点击“Browse repositor 阅读全文

posted @ 2021-01-15 16:27 金色的鱼儿阅读(1245) 评论(0) 推荐(0)

Windows下Mysql5.7开启binlog步骤及注意事项

摘要：1、查看是否开启了binlog：show binary logs; 默认情况下是不开启的。 2、开启binlog：修改mysql的配置文件my.ini。添加如下配置：该文件默认不允许修改，需要右键“管理员取得所有权”之后才能保存修改。另外，需要注意的是图中的my.ini位于：C:\Program 阅读全文

posted @ 2021-01-15 14:28 金色的鱼儿阅读(716) 评论(0) 推荐(0)

超详细的Canal入门，看这篇就够了！

摘要：思维导图文章已收录Github精选，欢迎Star：https://github.com/yehongzhi/learningSummary 前言我们都知道一个系统最重要的是数据，数据是保存在数据库里。但是很多时候不单止要保存在数据库中，还要同步保存到Elastic Search、HBase、Re 阅读全文

posted @ 2021-01-15 13:42 金色的鱼儿阅读(5931) 评论(0) 推荐(1)

spark提交任务的三种的方法

摘要：在学习Spark过程中，资料中介绍的提交Spark Job的方式主要有三种：第一种: 通过命令行的方式提交Job,使用spark 自带的spark-submit工具提交，官网和大多数参考资料都是已这种方式提交的，提交命令示例如下：./spark-submit --class com.learn.s 阅读全文

posted @ 2021-01-14 19:30 金色的鱼儿阅读(1330) 评论(0) 推荐(0)

实现LOGSTASH6.4.3 同步MYSQL数据到ELASTICSEARCH6.4.3

摘要：本文旨在实践把mysql已有的数据同步到elasticsearch中，使用的版本是6.4.3，对于其它6.x版本理应是一样的处理方式。本文目录： 1.初始化Elasticsearch 6.4.3 1.1 下载Elasticsearch 6.4.3 1.2 配置Elasticsearch 6.4.3 阅读全文

posted @ 2021-01-14 15:26 金色的鱼儿阅读(211) 评论(0) 推荐(0)

ELASTICSEARCH 三、 SPRINGBOOT 整合使用 ELASTICSEARCH6.4.3

摘要：一、ELASTICSEARCH 数据结构操作Elasticsearch6.4.3 类似于jpa 操作数据库一样，使用Crud 方式Elasticsearch6.4.3 是基于文档保存数据，mysql是基于行列保存数据关系数据库 ⇒ 数据库 ⇒ 表 ⇒ 行 ⇒ 列(Columns) Elastic 阅读全文

posted @ 2021-01-14 14:52 金色的鱼儿阅读(573) 评论(0) 推荐(0)

spark-streaming-连接kafka的两种方式

摘要：推荐系统的在线部分往往使用spark-streaming实现，这是一个很重要的环节。在线流程的实时数据一般是从kafka获取消息到spark streaming spark连接kafka两种方式在面试中会经常被问到，说明这是重点，下面为大家介绍一下这两种方法：第一种方式：Receiver模式又阅读全文

posted @ 2021-01-14 13:43 金色的鱼儿阅读(648) 评论(0) 推荐(0)

spark.streaming.kafka.maxRatePerPartition的理解

摘要：spark.streaming.kafka.maxRatePerPartition设定对目标topic每个partition每秒钟拉取的数据条数。假设此项设为1，批次间隔为10s，目标topic只有一个partition，则一次拉取的数据量为1*10*1=10。若有不对的地方，请指正。转载于：阅读全文

posted @ 2021-01-14 13:37 金色的鱼儿阅读(1803) 评论(1) 推荐(0)

spark streaming之 windowDuration、slideDuration、batchDuration

摘要：spark streaming 不同于sotm，是一种准实时处理系统。storm 中，把批处理看错是时间教程的实时处理。而在spark streaming中，则反过来，把实时处理看作为时间极小的批处理。 1、三个时间参数 spark streaming 中有三个关于时间的参数，分别如下：窗口时间w 阅读全文

posted @ 2021-01-14 13:29 金色的鱼儿阅读(456) 评论(0) 推荐(0)

Spark Streaming 性能调优

摘要：目录 1、合理的批次处理时间 2、合理的kafka拉取数据 3、缓存反复使用的Dstream(RDD) 4、其他一些优化策略 5、结果 1、合理的批次处理时间关于Spark Streaming的批处理时间设置是非常重要的，Spark Streaming在不断接收数据的同时，需要处理数据的时间，所以阅读全文

posted @ 2021-01-14 13:27 金色的鱼儿阅读(587) 评论(0) 推荐(0)

Spark Streaming的Batch Duration优化

摘要：Spark Streaming 是微批处理。 SparkConf sparkConf = new SparkConf().setAppName("SparkStreaming").setMaster("local[*]"); JavaStreamingContext javaStreamingCon 阅读全文

posted @ 2021-01-14 13:26 金色的鱼儿阅读(442) 评论(0) 推荐(0)

elasticsearch官网下载

摘要：一、官网下载地址： https://www.elastic.co/cn/downloads/elasticsearch 二、点击“past releases” ，然后找到对应的版本，点击Download。三、选择相应的系统版本进行下载。Elasticsearch 6.4.x对应的是lucene的7 阅读全文

posted @ 2021-01-14 10:24 金色的鱼儿阅读(3513) 评论(0) 推荐(0)

查看lucene和elasticsearch的版本对应关系

摘要：一、Maven仓库官网： https://mvnrepository.com/ 二、搜索elasticsearch，然后点击Server或者elasticsearch进入。三、点击相应的版本号进入。四、查看对应的lucene版本。 END 阅读全文

posted @ 2021-01-14 10:09 金色的鱼儿阅读(2378) 评论(0) 推荐(0)

lucene和solr的版本对应

摘要：在Solr1.4.x的时候，Solr和Lucene是独立发布的，Solr一般会在Lucene发布新版本后跟进发布一个新的版本。到了3.1的时候，两者代码做了合并，版本号统一了，并同时发布。具体情况如下Solr 1.4.0 Lucene 2.9.1Solr 1.4.1 Lucene 2.9.3Solr 阅读全文

posted @ 2021-01-14 09:35 金色的鱼儿阅读(323) 评论(0) 推荐(0)

elasticSearch 6和7的版本改变大坑

摘要：http://majiameng.com/article/2717.html 阅读全文

posted @ 2021-01-14 09:33 金色的鱼儿阅读(2893) 评论(0) 推荐(0)

Spring Boot 2.3.2 集成elasticsearch 7.6.2实战

摘要：前言此前虽然有尝试过集成elasticsearch，不过技术栈并非spring boot。本次尝试在springboot项目中集成elasticsearch，不过由于spring boot、es、rest的版本问题，折腾了好久，写这篇文章的目的一是分享一下，也是为了纪念当时的摸爬滚打。注：集成过程阅读全文

posted @ 2021-01-13 16:58 金色的鱼儿阅读(2483) 评论(0) 推荐(0)

Docker部署CDH集群

摘要：https://juejin.cn/post/6844904122731200525 阅读全文

posted @ 2021-01-13 15:42 金色的鱼儿阅读(912) 评论(0) 推荐(0)

3台阿里云ECS安装CDH大数据集群过程（CentOS7.4+独立数据盘）

摘要：https://my.oschina.net/ykbj/blog/1859661 阅读全文

posted @ 2021-01-13 15:17 金色的鱼儿阅读(269) 评论(0) 推荐(0)

CDH 2、Cloudera Manager的安装

摘要：1、Cloudera Manager • Cloudera Manager是一个管理CDH的端到端的应用。 • 作用： – 管理 – 监控 – 诊断 – 集成 • 架构 • Server – 管理控制台服务器和应用程序逻辑 – 负责软件安装、配置，启动和停止服务 – 管理服务运行的群集 • Agen 阅读全文

posted @ 2021-01-13 15:13 金色的鱼儿阅读(266) 评论(0) 推荐(0)

CDH 1、CDH简介

摘要：1、Apache Hadoop 不足之处 • 版本管理混乱 • 部署过程繁琐、升级过程复杂 • 兼容性差 • 安全性低 2、Hadoop 发行版 • Apache Hadoop • Cloudera’s Distribution Including Apache Hadoop（CDH） • Hort 阅读全文

posted @ 2021-01-13 15:08 金色的鱼儿阅读(897) 评论(0) 推荐(0)

Property ‘sqlSessionFactory‘ or ‘sqlSessionTemplate‘ are required

摘要：Spring Boot报错 java.lang.IllegalArgumentException:Property 'sqlSessionFactory' or 'sqlSessionTemplate' are required以及Error creating bean with name 'xxx 阅读全文

posted @ 2021-01-12 14:41 金色的鱼儿阅读(13459) 评论(0) 推荐(0)

Windows环境下搭建【ElasticSearch】

摘要：ElasticSearch，简称ES，是一个基于Lucene的分布式全文搜索服务器，和SQL Server的全文索引（Fulltext Index）有点类似，都是基于分词和分段的全文搜索引擎，具有分词，同义词，词干查询的功能，但是ES天生具有分布式和实时的属性。一，安装Java SE环境安装J 阅读全文

posted @ 2021-01-11 17:46 金色的鱼儿阅读(661) 评论(0) 推荐(0)

Lucene和ES的区别

摘要：Lucene和ES的区别定义： Lucene是一个java信息检索程序库。您可以将其包含在项目中,并使用函数调用来参考其功能。 Lucene 是apache软件基金会一个开放源代码的全文检索引擎工具包，是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene的目的是阅读全文

posted @ 2021-01-11 17:37 金色的鱼儿阅读(988) 评论(0) 推荐(0)

接口的幂等性的多重考虑，你会了吗？

摘要：目录 [TOC] 前言今天的主题：接口幂等性的解决方案。本来是想把对象的存储过程和内存布局肝出来的，但是临时产生了变化，哈哈，这部分内容我们留在下一期吧，有句话说的好，好事多磨，对吧。</br> 在实际项目开发中接口是我们在开发中经常接触到的，而且是经常经常要写，每一个项目可能都会伴随着大量的接口阅读全文

posted @ 2021-01-09 19:16 金色的鱼儿阅读(172) 评论(0) 推荐(0)

求求你，别再用wait和notify了

摘要：Condition 是 JDK 1.5 中提供的用来替代 wait 和 notify 的线程通讯方法，那么一定会有人问：为什么不能用 wait 和 notify 了？哥们我用的好好的。老弟别着急，听我给你细说... 之所以推荐使用 Condition 而非 Object 中的 wait 和 not 阅读全文

posted @ 2021-01-09 18:34 金色的鱼儿阅读(285) 评论(0) 推荐(1)

文件写入的6种方法，这种方法性能最好

摘要：在 Java 中操作文件的方法本质上只有两种：字符流和字节流，而字节流和字符流的实现类又有很多，因此在文件写入时我们就可以选择各种各样的类来实现。我们本文就来盘点一下这些方法，顺便测试一下它们性能，以便为我们选出最优的写入方法。在正式开始之前，我们先来了解几个基本的概念：流、字节流和字符流的定义与阅读全文

posted @ 2021-01-09 17:31 金色的鱼儿阅读(1055) 评论(0) 推荐(0)

阿里面试官：Java对象一定是在堆中分配吗？我被秒杀的体无完肤

摘要：面试经历记得几年前有一次阿里去面试，问到了这么一个问题： Java中的对象都是在堆中分配吗？说明为什么！当时我被问得一脸懵逼，瞬间被秒杀得体无完肤，当时我压根就不知道他在考什么知识点，难道对象不是在堆中分配吗？最后就没然后了，回去等通知了。对象的分配几乎所有的对象在堆中进行分配，这个是大家经阅读全文

posted @ 2021-01-09 14:57 金色的鱼儿阅读(210) 评论(0) 推荐(0)

看完这20道Redis面试题后，蚂蚁金服面试可以约起来了?

摘要：1、什么是Redis，Redis有哪些特点？ Redis全称为：Remote Dictionary Server（远程数据服务），Redis是一种支持key-value等多种数据结构的存储系统。可用于缓存，事件发布或订阅，高速队列等场景。支持网络，提供字符串，哈希，列表，队列，集合结构直接存取，基于阅读全文

posted @ 2021-01-08 19:47 金色的鱼儿阅读(393) 评论(0) 推荐(0)

搞懂这些Redis知识点，吊打面试官！

摘要：来自：掘金，作者：坚持就是胜利链接：https://juejin.im/post/5dccf260f265da0bf66b626d 今天，我不自量力的面试了某大厂的 Java 开发岗位，迎面走来一位风尘仆仆的中年男子，手里拿着屏幕还亮着的 Mac。他冲着我礼貌的笑了笑，然后说了句“不好意思，让你阅读全文

posted @ 2021-01-08 18:13 金色的鱼儿阅读(154) 评论(0) 推荐(0)

kafka(一)

摘要：Apache Kafka 发布与订阅消息系统 kafka介绍： Kafka就是一款基于发布与订阅的梢息系统。它一般被称为 “分布式提交日志”或者“分布式流平台”。文件系统或数据库提交日志用来提供所有事务的持久记录，通过重放这些日志可以重建系统的状态。同样地， Kafka 的数据是按照一定顺序阅读全文

posted @ 2021-01-08 17:15 金色的鱼儿阅读(182) 评论(0) 推荐(0)

Kafka学习之路（一）Kafka的简介

摘要：讨论QQ：1586558083 目录一、简介 1.1　概述 1.2　消息系统介绍 1.3　点对点消息传递模式 1.4　发布-订阅消息传递模式二、Kafka的优点 2.1　解耦 2.2　冗余（副本） 2.3　扩展性 2.4　灵活性&峰值处理能力 2.5　可恢复性 2.6　顺序保证 2.7　缓冲 2 阅读全文

posted @ 2021-01-08 16:33 金色的鱼儿阅读(134) 评论(0) 推荐(0)

spring、springMvc、springBoot和springCloud的联系与区别

摘要：spring和springMvc： 1. spring是一个一站式的轻量级的java开发框架，核心是控制反转（IOC）和面向切面（AOP），针对于开发的WEB层(springMvc)、业务层(Ioc)、持久层(jdbcTemplate)等都提供了多种配置解决方案； 2. springMvc是spri 阅读全文

posted @ 2021-01-08 15:56 金色的鱼儿阅读(353) 评论(0) 推荐(0)

如何成为一个资深Java架构师？

摘要：一、什么是架构师？ 1、从内心讲我真的不想回答架构具体需要做什么，架构师应该具体负责什么。因为从实际情况看，在不同的系统层级，不同的需求下架构师的职责也会不同；从不同的技术角度看，架构师又是个变色龙——一时是技术的大拿，一时是技术的规划者，一时是技术团队的指挥者。 2、那么，该如何回答“什么是架构，阅读全文

posted @ 2021-01-08 15:27 金色的鱼儿阅读(736) 评论(0) 推荐(0)

简单明了的带你理解springboot原理和三大核心注解

摘要：一、springboot的定义 Spring Boot是伴随着Spring4.0共同诞生的，它的目的就是简化spring的配置及开发，并协助开发人员可以整体管理应用程序的配置而不再像以前那样需要做大量的配置工作，它提供了很多开发组件，并且内嵌了web应用容器，如tomcat和Jetty等。其目的便是阅读全文

posted @ 2021-01-08 10:57 金色的鱼儿阅读(8007) 评论(0) 推荐(0)

Spring Boot(一)：入门篇

摘要：构建微服务：Spring boot 入门篇什么是Spring Boot Spring Boot 是由 Pivotal 团队提供的全新框架，其设计目的是用来简化新 Spring 应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。用我的话来理解，就是阅读全文

posted @ 2021-01-08 10:41 金色的鱼儿阅读(177) 评论(0) 推荐(0)

【Mysql优化】聚簇索引与非聚簇索引概念

摘要：必须为主键字段创建一个索引，这个索引就是所谓的"主索引"。主索引与唯一索引的唯一区别是：前者在定义时使用的关键字是PRIMARY而不是UNIQUE。首先明白两句话: innodb的次索引指向对主键的引用 (聚簇索引) myisam的次索引和主索引都指向物理行 (非聚簇索引) 聚簇索引是对磁盘上实阅读全文

posted @ 2021-01-08 10:02 金色的鱼儿阅读(280) 评论(0) 推荐(0)

Mysql索引原理与优化

摘要：如何查询数据？在没有索引的情况下，如果执行select * from t where age = 22，那么要找到age = 22的数据，则是从上往下一个一个比较，直到第6行才能找到，并且数据库的文件是存在磁盘上的文件中，所以每次比较都算做一次IO操作，也就是6次IO操作，如果数据量大，可以想象查阅读全文

posted @ 2021-01-08 09:34 金色的鱼儿阅读(1264) 评论(0) 推荐(0)

Mysql全文索引的使用

摘要：前言在MySQL 5.6版本以前,只有MyISAM存储引擎支持全文引擎.在5.6版本中,InnoDB加入了对全文索引的支持,但是不支持中文全文索引.在5.7.6版本,MySQL内置了ngram全文解析器,用来支持亚洲语种的分词. 在学习之前,请确认自己的MySQL版本大于5.7.6.我的版本为5. 阅读全文

posted @ 2021-01-07 21:26 金色的鱼儿阅读(678) 评论(0) 推荐(0)

索引的优缺点，如何创建索引

摘要：优点：1、加快数据检索速度，提高对数据访问效率 2、提高数据查询性能缺点：1、占用大量硬盘空间 2、数据的增删改等更新操作，需要维护索引时间，降低更新速度使用场合： 1、主键列中创建索引 2、多表连接时连接列创建索引 3、where子句查询的列 4、需要经常GROUP BY和ORDER BY的列阅读全文

posted @ 2021-01-07 21:10 金色的鱼儿阅读(439) 评论(0) 推荐(0)

MySQL索引失效的几种情况详析

摘要：1.前导模糊查询不能利用索引(like '%XX'或者like '%XX%') 假如有这样一列code的值为'AAA','AAB','BAA','BAB' ,如果where code like '%AB'条件，由于前面是模糊的，所以不能利用索引的顺序，必须一个个去找，看是否满足条件。这样会导致全索阅读全文

posted @ 2021-01-07 20:56 金色的鱼儿阅读(1733) 评论(0) 推荐(0)

MySQL索引失效的几种情况

摘要：一，使用Like关键字查询语句首先看下我的测试表的行数： select count(0) from tb_user 结果如下：一共16行。使用like '% ': explain select * from tb_user where username like '%si' 分析结果：发现查阅读全文

posted @ 2021-01-07 20:44 金色的鱼儿阅读(767) 评论(0) 推荐(0)

Java多线程分批发送消息的小例子

摘要：需求: 假设有10万个用户,现在节假日做活动,需要给每个用户发送一条活动短信,为了提高程序的效率,建议使用多线程分批发送. 这里值得注意的是: 每开一个线程都会占用CPU的资源,所以线程根据所需要的条数来决定就好,避免浪费,我们用的是一个小例子,只是说明了多线程处理提高了效率,实际的大规模场景中不建阅读全文

posted @ 2021-01-07 20:20 金色的鱼儿阅读(631) 评论(0) 推荐(0)

java中的各种锁机制

摘要：Java提供了种类丰富的锁，每种锁因其特性的不同，在适当的场景下能够展现出非常高的效率。本文旨在对锁相关源码（本文中的源码来自JDK 8）、使用场景进行举例，为读者介绍主流锁的知识点，以及不同的锁的适用场景。 Java中往往是按照是否含有某一特性来定义锁，我们通过特性将锁进行分组归类，再使用对比的方阅读全文

posted @ 2021-01-07 18:22 金色的鱼儿阅读(492) 评论(0) 推荐(0)

面试必问之JVM原理

摘要：1：什么是JVM JVM是Java Virtual Machine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。Java虚拟机包括一套字节码指令集、一组寄存器、一个栈、一个垃圾回收堆和一个存储方法域。 JVM 阅读全文

posted @ 2021-01-07 17:24 金色的鱼儿阅读(705) 评论(0) 推荐(0)

基于 SpringBoot，来实现MySQL读写分离技术

摘要：作者：Yrion cnblogs.com/wyq178/p/13352707.html /** * 主从配置 * * @author wyq */ @Configuration @MapperScan(basePackages = "com.wyq.mysqlreadwriteseparate.ma 阅读全文

posted @ 2021-01-07 14:47 金色的鱼儿阅读(411) 评论(0) 推荐(0)

两种数据序列化方案性能对比：Msgpack和Json

摘要：MessagePack(简写msgpack)是一个高效的二进制序列化格式。它让你像JSON一样可以在各种语言之间交换数据。但是它比JSON更快、更小。小的整数会被编码成一个字节，短的字符串仅仅只需要比它的长度多一字节的大小。之前在lua脚本中使用过msgpack，因为有大量数据要入redis，而考虑阅读全文

posted @ 2021-01-06 19:47 金色的鱼儿阅读(3147) 评论(0) 推荐(0)

TCP/IP、Http、Https、Socket的区别

摘要：网络由下往上分为物理层、数据链路层、网络层（ IP协议）、传输层（ TCP协议）、会话层、表示层和应用层（HTTP协议）接下来我来说说个人理解其中的TCP/IP、Http、Socket的区别 TCP/IP连接：手机能够使用联网功能是因为手机底层实现了TCP/IP协议，可以使手机终端通过无线网络建立阅读全文

posted @ 2021-01-06 19:29 金色的鱼儿阅读(327) 评论(0) 推荐(0)

Java二叉树及其三种遍历方式的递归实现

摘要：今天面试遇到一道题目，大概的意思就是要用Java面向对象的特性实现二叉树节点，并实现其遍历，因为是笔试，担心出错我居然直接没做，现在想起来我真是个傻子！话不多说，进入正题，上代码：第一部分，节点对象(考察数据结构) public class Node { private Integer data; 阅读全文

posted @ 2021-01-05 19:50 金色的鱼儿阅读(320) 评论(0) 推荐(0)

k8s学习笔记

摘要：1，k8s整体架构的知识整理 2，配置kubectl命令补全功能 3，k8s基本使用入门-使用Pod 4，k8s基本使用入门-了解ReplicationController 5，k8s基本使用入门-了解ReplicaSet 6，k8s基本使用入门-了解deployments 7，k8s基本使用入门- 阅读全文

posted @ 2021-01-05 15:38 金色的鱼儿阅读(123) 评论(0) 推荐(0)

Kubernetes(K8s) 解决了哪些问题

摘要：作者：AWS云计算链接：https://www.zhihu.com/question/329365548/answer/1545488275来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。随着容器的火爆，利用容器架构来搭建业务系统的人越来越多。可是，大家在实操中发现，阅读全文

posted @ 2021-01-05 15:08 金色的鱼儿阅读(1404) 评论(0) 推荐(0)

延迟消息功能定时和延时消息

摘要：消息队列 CMQ 延迟消息功能 - 消息队列（Queue）模型 - 文档中心 - 腾讯云 https://cloud.tencent.com/document/product/406/8128 最近更新时间：2020-04-20 10:50:01 CMQ 消息定时器允许您为要添加到队列的消息指定初始阅读全文

posted @ 2021-01-05 14:42 金色的鱼儿阅读(544) 评论(0) 推荐(0)

全面理解Java内存模型

摘要：Java内存模型即Java Memory Model，简称JMM。JMM定义了Java 虚拟机(JVM)在计算机内存(RAM)中的工作方式。JVM是整个计算机虚拟模型，所以JMM是隶属于JVM的。如果我们要想深入了解Java并发编程，就要先理解好Java内存模型。Java内存模型定义了多线程之间共阅读全文

posted @ 2021-01-05 14:29 金色的鱼儿阅读(141) 评论(0) 推荐(0)

工作中遇到的java 内存溢出，问题排查

摘要：工作中遇到的java 内存溢出，问题排查一、服务器配置及jvm运行参数 CentOS release 6.4 (Final) MemTotal: 16333916 kB Intel(R) Xeon(R) CPU E7-4860 v2 @ 2.60GHz 8C -Xmx4096m -Xms4096m 阅读全文

posted @ 2021-01-04 19:25 金色的鱼儿阅读(901) 评论(0) 推荐(0)

java线上内存溢出问题排查步骤

摘要：一般线上遇到比较头疼的就是OOM内存溢出问题，我们都会先看错误日志，如果错误日志能够定位出哪个类对象导致内存溢出，那么我们只需要针对问题修改bug就好。但是很多时候我们单凭日志无法定位出内存溢出问题，那么我们这时候就需要以下操作来定位问题。 1、top下对当前服务器内存有个大致了解 top后 shi 阅读全文

posted @ 2021-01-04 19:21 金色的鱼儿阅读(1705) 评论(0) 推荐(0)

性能测试-java内存溢出问题排查

摘要：背景：最近测试一个智能呼叫系统，就是AI代替人工客服批量给客户打电话作推广活动，在测试的过程中，应用服务器和数据库服务器资源使用都挺正常的，但是长久不重启应用，过个2-3天，执行个几次同时呼叫600个电话拨打任务后，就可能存在： org.springframework.web.util.Neste 阅读全文

posted @ 2021-01-04 19:10 金色的鱼儿阅读(435) 评论(0) 推荐(0)

01 2021 档案

公告