2018 年 11月随笔档案 - 伪全栈的java工程师

亿级流量系统架构之如何支撑百亿级数据的存储与计算【转载石杉的架构笔记】-1

摘要：亿级流量系统架构之如何支撑百亿级数据的存储与计算【石杉的架构笔记】原创：中华石杉 “本文聊一下笔者几年前所带的团队负责的多个项目中的其中一个，用这个项目来聊聊一个亿级流量系统架构演进的过程。一、背景引入首先简单介绍一下项目背景，公司对合作商家提供一个付费级产品，这个商业产品背后涉及到数百人的阅读全文

posted @ 2018-11-30 10:25 伪全栈的java工程师阅读(4144) 评论(0) 推荐(0) 编辑

springboot Hello World探究

摘要：Hello World探究1、POM文件1、父项目 Spring Boot的版本仲裁中心；以后我们导入依赖默认是不需要写版本；（没有在dependencies里面管理的依赖自然需要声明版本号） 2、启动器 spring-boot-starter-web：spring-boot-starter：spr 阅读全文

posted @ 2018-11-29 19:35 伪全栈的java工程师阅读(272) 评论(0) 推荐(0) 编辑

Eureka Server设计（转载石杉的架构笔记）

摘要：目录：一、问题起源二、Eureka Server设计精妙的注册表存储结构三、Eureka Server端优秀的多级缓存机制四、总结一、问题起源 Spring Cloud架构体系中，Eureka是一个至关重要的组件，它扮演着微服务注册中心的角色，所有的服务注册与服务发现，都是依赖Eureka 阅读全文

posted @ 2018-11-29 19:09 伪全栈的java工程师阅读(926) 评论(0) 推荐(0) 编辑

Eureka与ZooKeeper 的比较（转）

摘要：Eureka的优势 1、在Eureka平台中，如果某台服务器宕机，Eureka不会有类似于ZooKeeper的选举leader的过程；客户端请求会自动切换到新的Eureka节点；当宕机的服务器重新恢复后，Eureka会再次将其纳入到服务器集群管理之中；而对于它来说，所有要做的无非是同步一些新的服务注阅读全文

posted @ 2018-11-28 21:11 伪全栈的java工程师阅读(323) 评论(0) 推荐(0) 编辑

Apache Kafka 企业级消息队列

摘要：1、大纲了解 Apache Kafka是什么掌握Apache Kafka的基本架构搭建Kafka集群掌握操作集群的两种方式了解Apache Kafka高级部分的内容了解 Apache Kafka是什么掌握Apache Kafka的基本架构搭建Kafka集群掌握操作集群的两种方式了阅读全文

posted @ 2018-11-28 18:51 伪全栈的java工程师阅读(625) 评论(0) 推荐(1) 编辑

用户点击行为实时分析系统spark

摘要：系统设计技术有:Hadoop2.xZookeeperFlumeHiveHbaseKafkaSpark2.xSpark StreamingStructured StreamingMySQLHueJavaEEWebSocketEcharts 1.1案例需求分析: 主要是基于用户浏览新闻的日志信息进行分析阅读全文

posted @ 2018-11-28 18:08 伪全栈的java工程师阅读(1022) 评论(0) 推荐(0) 编辑

陆金所面试题

摘要：今天下午去陆金所面试java。问得是java基础与框架，但是自己没有背面试宝典，很多都回答不好。 1.hashmap 与 hashtable 的区别以及 hashmap的实现原理 arraylist与LinkedList 的区别与原理 Comparable和Comparator接口是干什么的？列出阅读全文

posted @ 2018-11-26 19:16 伪全栈的java工程师阅读(3309) 评论(0) 推荐(1) 编辑

Hbase入门

摘要：大纲了解什么是Hbase 了解列式数据库与行式数据库的区别了解hbase的架构掌握Hbase的部署和安装掌握Hbase的CRUD操作实现京东的“规格和包装”功能案例 Hbase高级部分 1、了解Hbase 1.1、什么是Hbase 官网：https://hbase.apache.org/ 阅读全文

posted @ 2018-11-25 21:30 伪全栈的java工程师阅读(382) 评论(0) 推荐(0) 编辑

spark-join算子

摘要：阅读全文

posted @ 2018-11-25 16:45 伪全栈的java工程师阅读(284) 评论(0) 推荐(0) 编辑

spark-reduceByKey算子

摘要：阅读全文

posted @ 2018-11-25 16:40 伪全栈的java工程师阅读(212) 评论(0) 推荐(0) 编辑

spark-groupByKey

摘要：一般来说，在执行shuffle类的算子的时候，比如groupByKey、reduceByKey、join等。其实算子内部都会隐式地创建几个RDD出来。那些隐式创建的RDD，主要是作为这个操作的一些中间数据的表达，以及作为stage划分的边界。因为有些隐式生成的RDD，可能是ShuffledRDD 阅读全文

posted @ 2018-11-25 16:28 伪全栈的java工程师阅读(1384) 评论(0) 推荐(0) 编辑

spark完整的数据倾斜解决方案

摘要：1、数据倾斜的原理 2、数据倾斜的现象 3、数据倾斜的产生原因与定位在执行shuffle操作的时候，大家都知道，我们之前讲解过shuffle的原理。是按照key，来进行values的数据的输出、拉取和聚合的。同一个key的values，一定是分配到一个reduce task进行处理的。多个k 阅读全文

posted @ 2018-11-25 14:48 伪全栈的java工程师阅读(686) 评论(0) 推荐(0) 编辑

Spark Streaming

摘要：大纲： Spark Streaming简介 Spark Streaming的原理和架构 Spark Streaming之基础抽象DStream DStream相关操作 Spark Streaming与flume整合 Spark Streaming与kafka整合 Spark Streaming简介阅读全文

posted @ 2018-11-24 23:34 伪全栈的java工程师阅读(496) 评论(0) 推荐(0) 编辑

用SparkSQL构建用户画像

摘要：用SparkSQL构建用户画像二、前言大数据时代已经到来，企业迫切希望从已经积累的数据中分析出有价值的东西，而用户行为的分析尤为重要。利用大数据来分析用户的行为与消费习惯，可以预测商品的发展的趋势，提高产品质量，同时提高用户满意度。三、初识用户画像右边是一个人的基本属性，通过一个人的基阅读全文

posted @ 2018-11-24 22:27 伪全栈的java工程师阅读(6081) 评论(1) 推荐(1) 编辑

Spring Cloud底层原理（转载石杉的架构笔记）

摘要：拜托！面试请不要再问我Spring Cloud底层原理原创：中华石杉石杉的架构笔记目录一、业务场景介绍二、Spring Cloud核心组件：Eureka 三、Spring Cloud核心组件：Feign 四、Spring Cloud核心组件：Ribbon 五、Spring Cloud核心阅读全文

posted @ 2018-11-23 19:14 伪全栈的java工程师阅读(3289) 评论(0) 推荐(0) 编辑

TCC分布式事务的实现原理（转载石杉的架构笔记）

摘要：拜托，面试请不要再问我TCC分布式事务的实现原理！【石杉的架构笔记】原创：中华石杉目录一、写在前面二、业务场景介绍三、进一步思考四、落地实现TCC分布式事务 (1)TCC实现阶段一：Try (2)TCC实现阶段二：Confirm (3)TCC实现阶段三：Cancel 五、总结与思考一阅读全文

posted @ 2018-11-21 11:36 伪全栈的java工程师阅读(1077) 评论(0) 推荐(0) 编辑

电商设计1

摘要：项目开发流程项目经理：管人产品经理：设计需求原型测试：前端：大前端。node 后端：移动端：项目开发流程图： 2.商城介绍 2.1.项目介绍商城是一个母婴类的电商购物网站（B2B）。用户可以在线购买商品、加入购物车、下单、秒杀商品可以评论已购买商品管理员可以在后台管理商品的上下架阅读全文

posted @ 2018-11-21 10:48 伪全栈的java工程师阅读(495) 评论(0) 推荐(0) 编辑

智能分类

摘要：1 人工智能与机器学习 1.1 谈谈人工智能人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似阅读全文

posted @ 2018-11-21 06:11 伪全栈的java工程师阅读(1155) 评论(0) 推荐(0) 编辑

网络爬虫框架Webmagic

摘要：1 谈谈网络爬虫 1.1 什么是网络爬虫在大数据时代，信息的采集是一项重要的工作，而互联网中的数据是海量的，如果单纯靠人力进行信息采集，不仅低效繁琐，搜集的成本也会提高。如何自动高效地获取互联网中我们感兴趣的信息并为我们所用是一个重要的问题，而爬虫技术就是为了解决这些问题而生的。网络爬虫（Web 阅读全文

posted @ 2018-11-20 17:30 伪全栈的java工程师阅读(670) 评论(0) 推荐(0) 编辑

Spring Cloud 微服务架构解决方案

摘要：1 理解微服务 1.1 软件架构演进软件架构的发展经历了从单体结构、垂直架构、SOA架构到微服务架构的过程。 1.1.1 单体架构特点： 1、所有的功能集成在一个项目工程中。 2、所有的功能打一个war包部署到服务器。 3、应用与数据库分开部署。 4、通过部署应用集群和数据库集群来提高系统的性能阅读全文

posted @ 2018-11-20 16:00 伪全栈的java工程师阅读(3043) 评论(0) 推荐(0) 编辑

搜索

常用链接

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论