02 2020 档案

摘要:一、场景 我本想在MySQL5.7上执行下列语句创建一个新用户: 结果却报了如下错误: 二、解决 根据报错内容中的 Please use mysql_upgrade to fix this error。 可知,可以使用mysql_upgrade命令来修复这个问题,于是到MySQL部署的主机上执行下列 阅读全文
posted @ 2020-02-27 16:48 JaxYoun 阅读(507) 评论(0) 推荐(0) 编辑
摘要:1、Nexus配置 1. 在Nexus私服上建立仓库,用于盛放jar包,如名叫3rd_part。 2. 注册用户Nuxus用户,如名叫dev,密码dev_123。 3. 给dev用户分配能访问3rd_part仓库的权限。 2、maven配置 1. 配置远程镜像地址 2. 配置远程仓库的对应的服务器节 阅读全文
posted @ 2020-02-25 12:10 JaxYoun 阅读(694) 评论(0) 推荐(0) 编辑
摘要:有时候我们需要跨库join查询,但是配置多数据源成本又太高,Oracle提供了DBLink功能,MySQL中也有类似的实现:federated engine。 1. MySQL中使用federated引擎的表能够映射远程数据库的表,在本地的使用federated的这张表相当于远程数据库某表在本地的引 阅读全文
posted @ 2020-02-25 11:03 JaxYoun 阅读(703) 评论(0) 推荐(0) 编辑
摘要:HTTPS为什么更安全:数据对称加密传出,对称密钥使用非对称加密协商。 HTTPS就一定安全吗:不一定,如果用户在浏览器端 执意 访问证书可疑或过期的站点,就存在安全隐患。 HTTPS实现原理:https连接可以分为三个阶段: 1、证书校验:当浏览器向服务器发送请求时,服务器会将包含 服务器公钥 的 阅读全文
posted @ 2020-02-21 15:01 JaxYoun 阅读(802) 评论(0) 推荐(0) 编辑
摘要:1、现在要让有限的系统资源发挥更大的效率,一个最直接的方式就是进行资源复用,比如线程资源复用。 2、线程资源复用的一个最有效的方式就是使用事件驱动模型进行异步调用。 3、Reactor模型就是基于事件驱动的一个多路复用模型,它又可分为单线程、多线程、主从式的Reactor模型,以应对不同应用场景,N 阅读全文
posted @ 2020-02-21 12:38 JaxYoun 阅读(686) 评论(0) 推荐(0) 编辑
摘要:1. 在BIO中只有一个核心对象 Stream,它是单向的数据传输通道,即每个Stream要么是输入要么是输出的,不可兼得。开发人员是面向Stream进行编程的。 2. 在NIO中有三个核心对象 Seletor、Channel、Buffer。其中Selector是一个事件循环线程,不停的监听注册在其 阅读全文
posted @ 2020-02-21 12:36 JaxYoun 阅读(143) 评论(0) 推荐(0) 编辑
摘要:分布式一致性消息传递、事件处理等场景中十分重要: 1. At most Onece:最多一次,如果算子处理事件失败,算子将不再尝试该事件。 2. At Least Onece:至少一次,如果算子处理事件失败,算子会再次尝试该处理事件,直到有一次成功。 3. Exactly Once:严格地,有且仅处 阅读全文
posted @ 2020-02-21 12:33 JaxYoun 阅读(1093) 评论(0) 推荐(0) 编辑
摘要:大致可以将大数据的计算引擎分成了 4 代。 1. 第一代的计算引擎,无疑就是Hadoop承载的MapReduce。它将每个JobApp都被设计为两个阶段,分别为Map和Reduce。对于上层应用来说,就不得不想方设法去拆分算法,甚至于不得不在 上层应用实现多个App的串联 ,才能完成一个完整的算法, 阅读全文
posted @ 2020-02-21 12:29 JaxYoun 阅读(502) 评论(0) 推荐(1) 编辑
摘要:1、做静 态资源 服务器,可以用于前端项目发布,图片文件文件等静态服务器。 2、做反 向代理 服务器,域名往往配置在Nginx上,真正的业务服务器躲在其身后。 3、做负 载均衡 服务器,作为负载集群的入口网关。 另: Nginx + lua,形成类似OpenResty,作为一个全能的开发框架,更广泛 阅读全文
posted @ 2020-02-21 12:26 JaxYoun 阅读(827) 评论(0) 推荐(0) 编辑
摘要:1、在一个完整的数据转换流程里往往涉及到多个具有衍生关系RDD,这些RDD其实是通过逻辑串联来利用装饰器模式层层包装扩展的的一堆对象,这些相邻RDD间必须有继承关系。并且比Java中的装饰器来的更彻底,借助Scala的抽象控制特性,这一系列RDD不代表任何实际数据,也不负责装载数据,描述的是纯粹的逻 阅读全文
posted @ 2020-02-20 19:10 JaxYoun 阅读(362) 评论(0) 推荐(0) 编辑
摘要:1. 使用Navicat工具,优先将整个数据库的表和数据导出。 2. 如果遇到 文件损坏 错误可以在 表实例界面 选中所有表,然后将表转储为SQL文件(结构和数据)。 3. 在目标数据库执行导出的SQL文件,导入结构和数据。 4. 如果个别表因为各种原因(比如使用federated引擎建立了DB L 阅读全文
posted @ 2020-02-20 19:09 JaxYoun 阅读(480) 评论(0) 推荐(0) 编辑
摘要:1、KeyBy 操作后,只有当 Key 的数量大于算子的并发实例数才能获得较好的计算性能。 A.而若Key 的数量比实例数量少,就会导致部分实例收不到数据,这些实例就得不到执行,这些实例的计算能力得不到充分发挥。 ~~B.当Key个数多余并行实例数时,由于同一个 Key 对应的所有数据都能发送到同一 阅读全文
posted @ 2020-02-20 19:08 JaxYoun 阅读(483) 评论(0) 推荐(0) 编辑
摘要:逻辑计划 logicGraph或者jobGraph,其端点为operator,edge为数据流向。 operator往往代表一个函数。 同一个分区内的具有连续上下游关系的函数组成operator-chain,同一个operator-chain内的数据,在流动过程中不会出现序列化和分区间的网络通信。 阅读全文
posted @ 2020-02-20 19:06 JaxYoun 阅读(699) 评论(0) 推荐(0) 编辑
该文被密码保护。
posted @ 2020-02-20 19:03 JaxYoun 阅读(803) 评论(0) 推荐(0) 编辑
摘要:0、背景:在由于不想在小项目中引入SpringSecurity这种重量级安全框架,我自定义了一个LoginFilter来处理认证+授权逻辑。对于认证或授权失败的情况,最初是在filter中抛出异常,并携带401状态码,然后利用Spring的ControllerAdvice全局捕获这些异常并转换后返回 阅读全文
posted @ 2020-02-20 19:00 JaxYoun 阅读(788) 评论(0) 推荐(0) 编辑
摘要:1. Stream接口,它 直接负责 字节流的传输。 2. Reader/Writer接口,它本身 不能读直接读写数据 ,而是以Stream接口为内部核心,在外围装饰增强,负责字符流的读写。字符和字节的转换过程必须指定 字符编码 方式。 3. 为了提高Reader/Writer接口的效率,又在外围装 阅读全文
posted @ 2020-02-20 18:58 JaxYoun 阅读(272) 评论(0) 推荐(0) 编辑
摘要:在早期版本的Spark中,shuffle过程没有磁盘读写操作,是纯内存操作,后来发现效率较低,且极易引发OOME,较新版本的Shuffle操作都加入了磁盘读写进行了改进。 1、未经优化的HashShuffleManager:上一个stage中每一个task会对下一个stage的每一个task写一份数 阅读全文
posted @ 2020-02-20 18:56 JaxYoun 阅读(288) 评论(0) 推荐(0) 编辑
摘要:1、Spark组件之间使用RPC机制进行通信。RPC的客户端在本地编写并调用业务接口,接口在本地通过RPC框架的动态代理机制生成一个对应的实现类,在这个实现类中完成soket通信、远程调用等功能的逻辑包装,而在RPC的服务端既编写业务接口也编写了具体的业务实现类,通过RPC框架以接口的方式暴露出来, 阅读全文
posted @ 2020-02-20 18:54 JaxYoun 阅读(358) 评论(0) 推荐(0) 编辑
摘要:1. spark的一大特性就是基于内存计算,Driver只保存任务的宏观性的元数据,数据量较小,且在执行过程中基本不变,不做重点分析,而真正的计算任务Task分布在各个Executor中,其中的内存数据量大,且会随着计算的进行会发生实时变化,所以Executor的内存管理才分析的重点。 2. 在执行 阅读全文
posted @ 2020-02-20 18:52 JaxYoun 阅读(304) 评论(0) 推荐(0) 编辑
摘要:1、Redis数据持久化的必要性 由于redis是基于内存的数据库,面临数据掉电易失的风险,要避免数据丢失,最好将内存数据持久化到磁盘等永久存储介质上。服务重启时,会先加载磁盘文件内的数据到内存,完成数据恢复。 2、RDB(RedisDB) 对内存中的redis全量数据进行 时点快照 并序列化,以文 阅读全文
posted @ 2020-02-20 18:51 JaxYoun 阅读(501) 评论(0) 推荐(0) 编辑
摘要:1、常见的三种数据的集群存储模式 1. full mirror:全量镜像模式,单纯备份模式,各个节点数据相同,都包含了全量数据,仅主节点可写,保证了数据冗余和读的负载均衡。数据安全性高,横向扩展能力差,资源利用率不高。 2. pure sharding:数据分片,每个节点的数据不相同,所有节点中数据 阅读全文
posted @ 2020-02-20 18:49 JaxYoun 阅读(594) 评论(0) 推荐(0) 编辑
摘要:1. 满足高可用,唯一的办法是副本镜像方案。 2. 满足可伸缩,唯一的办法是分片方案。 3. 业界实践证明,先将全量数据分片,再对分片做多副本镜像这样的组合方案,在资源利用率、可用性、伸缩性各方面都很均衡。如HDFS、RedisCluster、RocketMQ等都是采用这种组合方案来存储数据的。 4 阅读全文
posted @ 2020-02-20 16:00 JaxYoun 阅读(615) 评论(0) 推荐(0) 编辑
摘要:HDFS架构(Master Slave) 几个进程的角色 1. nameNode(master):用于保存、管理、持久化文件的元数据(文件名、文件副本数、文件块大小、文件块列表),同时还要接收客户端的文件读写请求。 2. secondaryNameNode:用于实时同步文件元数据,给nameNode 阅读全文
posted @ 2020-02-20 15:50 JaxYoun 阅读(323) 评论(0) 推荐(0) 编辑
摘要:Yarn架构(Master Slave) 进程角色: resourceManager(Master):任务调度和集群资源管理。 nodeManager(Slave):单个节点的资源管理。 applicationMaster:为任务程序申请资源,任务程序运行状态监控、错误恢复。 container:对 阅读全文
posted @ 2020-02-20 15:48 JaxYoun 阅读(289) 评论(0) 推荐(1) 编辑
摘要:顾名思义 zookeeper 就是动物园管理员,他是用来管 hadoop(大象)、Hive(蜜蜂)、pig(小 猪)的管理员, Apache Hbase 和 Apache Solr 的分布式集群都用到了 zookeeper;Zookeeper: 是一个分布式的、开源的程序协调服务,是 hadoop 阅读全文
posted @ 2020-02-20 15:46 JaxYoun 阅读(414) 评论(0) 推荐(0) 编辑
摘要:一、状态管理 firewalld的基本使用 查看状态:systemctl status firewalld 启动:systemctl start firewalld 停止:systemctl stop firewalld 启用:systemctl enable firewalld 禁用:system 阅读全文
posted @ 2020-02-20 15:44 JaxYoun 阅读(370) 评论(0) 推荐(0) 编辑
摘要:面向对象三大特性 封装: Encapsulation是指一种将抽象性函式接口的实现细节部份包装、隐藏起来的方法。封装可以被认为是一个保护屏障,防止该类的代码和数据被外部类定义的代码随意访问。要访问该类的代码和数据,必须通过严格的接口控制。封装最主要的功能在于我们能修改自己的实现代码,而不用修改那些调 阅读全文
posted @ 2020-02-20 12:53 JaxYoun 阅读(410) 评论(0) 推荐(0) 编辑
摘要:selinux是一个重要的lunux安全机制,存在于linuxKernel中,默认是开启的,会对用户行为做出多种限制,为了方便操作,有时候需要关闭它: 1. 查看selinux状态:/usr/sbin/sestatus。 2. 编辑/etc/selinux/config文件,将SELINUX=enf 阅读全文
posted @ 2020-02-20 12:48 JaxYoun 阅读(1136) 评论(0) 推荐(0) 编辑
摘要:配置中心 传统配置管理方式是将配置放在各应用本地,应用启动时读取加载自己的配置文件。当应用数量增大、配置变更频繁、配置量增大时管理维护成本很高且易出错。配置中心就是一个集中管理管理和维护大量配置的专有服务,管理员只在这个特定的服务上维护这些配置信息,所有应用都到配置中心读取,发生变动时配置中心主动触 阅读全文
posted @ 2020-02-20 12:45 JaxYoun 阅读(148) 评论(0) 推荐(0) 编辑
摘要:分布式锁 借助数据库、Redis集群、Zookeeper集群作为辅助系统。 面临的问题: 1. 锁的一致性问题 :在集群式辅助系统中,必然会存在锁的并发读,由于集群内部的数据同步存在延迟,不同客户端进程读到的锁可能不一致。 Zookeeper天生支持最终一致性,能在一定程度上满足。 Redison借 阅读全文
posted @ 2020-02-20 12:43 JaxYoun 阅读(191) 评论(0) 推荐(0) 编辑
摘要:通过yum安装mysql(5.x)后往往需要进行一些安全类的初始化设置: 1. 安装完数据库后执行mysql_secure_installation命令,会出现安全相关的交互界面。 2. 按提示操作。 阅读全文
posted @ 2020-02-20 12:42 JaxYoun 阅读(387) 评论(0) 推荐(0) 编辑
摘要:Linux版MySQL 1. 库名与表名是严格区分大小写的; 2. 表的别名是严格区分大小写的; 3. 列名与列的别名在所有的情况下均是忽略大小写的; 4. 变量名也是严格区分大小写的; 修改步骤如下: ~~~ 1. 编辑【/etc/my.ini】或者【/etc/my.cnf】文件 2. 在【mys 阅读全文
posted @ 2020-02-20 12:39 JaxYoun 阅读(390) 评论(0) 推荐(0) 编辑
摘要:先来科普一下 CE 到底是什么吧。Java 要求你必须在函数的类型里面声明它可能抛出的异常。比如,你的函数如果是这样: void foo(string filename) throws FileNotFoundException { if (...) { throw new FileNotFound 阅读全文
posted @ 2020-02-20 12:38 JaxYoun 阅读(1223) 评论(0) 推荐(0) 编辑
摘要:1. Java把异常作为一种类,当做对象来处理。所有异常类的基类是Throwable类。两大子类分别是Error和Exception。这些异常类可以分为三种类型:错误、受检异常、运行时异常。 错误由JVM抛出,用Error类表示。Error类描述的是内部的系统错误,例如Java虚拟机崩溃、内存溢出等 阅读全文
posted @ 2020-02-20 12:36 JaxYoun 阅读(139) 评论(0) 推荐(0) 编辑
摘要:主要用到的Zookeeper机制: 临时+有序节点,节点watch机制 过程: 1. 发生分布式锁竞争时,参与竞争的各个客户端服务都到Zookeeper的同一父节点(代表着同一把锁)下建立自己的临时+有序子节点,创建成功后子节点名被zk返回给客户端,各客户端保存在本地。 2. 所有客户端服务都拉取父 阅读全文
posted @ 2020-02-20 11:13 JaxYoun 阅读(230) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示