随笔分类 -  02 - 大数据

分布式高并发系统 、 分布式存储 、 大数据处理技术 学习分享
大数据产品生态
摘要：大数据技术本质上无非解决4个核心问题： 存储，海量的数据怎样有效的存储？主要包括hdfs、Kafka； 计算，海量的数据怎样快速计算？主要包括MapReduce、Spark、Flink等； 查询，海量数据怎样快速查询？主要为Nosql和Olap，Nosql主要包括Hbase、 Cassandra 等 阅读全文
posted @ 2020-08-25 13:22 勋爵|X-knight 阅读(1417) 评论(0) 推荐(0)
初步了解 大数据知识体系 [整理]
摘要：大数据（Big Data）其实已经兴起好些年了，只是随着无处不在的传感器、无处不在的数据埋点，获取数据变得越来越容易、量越来越大、内容越来越多样化，于是原来传统的数据领域不得不思考重新换一个平台可以处理和使用逐渐庞大数据量的新平台。用以下两点进一步阐述： 吴军博士提出的一个观点：现有产业+新技术=新 阅读全文
posted @ 2020-08-25 13:20 勋爵|X-knight 阅读(964) 评论(0) 推荐(0)
【知识图谱】云计算工程师必备技能
摘要：NOTE： 参考自网络：https://www.jianshu.com/p/003e63cf5d00 可以看到，里面涉及的知识点太多了，这个公众号我会重点关注基础设施的计算和网络部分，架构的 OpenStack 、Docker 部分，开发语言重点关注 C/C++、Python，其他可能也会涉及，不管 阅读全文
posted @ 2019-08-31 21:53 勋爵|X-knight 阅读(1450) 评论(0) 推荐(0)
【1】消息队列应用场景及ActiveMQ、RabbitMQ、RocketMQ、Kafka对比
该文被密码保护。
posted @ 2019-08-17 00:25 勋爵|X-knight 阅读(1) 评论(0) 推荐(0)
G-P-M 模型
摘要：G-P-M 模型概述 每一个OS线程都有一个固定大小的内存块(一般会是2MB)来做栈，这个栈会用来存储当前正在被调用或挂起(指在调用其它函数时)的函数的内部变量。这个固定大小的栈同时很大又很小。因为2MB的栈对于一个小小的goroutine来说是很大的内存浪费，而对于一些复杂的任务（如深度嵌套的递归 阅读全文
posted @ 2019-08-16 19:24 勋爵|X-knight 阅读(1840) 评论(0) 推荐(4)
线程那些事儿
摘要：线程的实现模型主要有3种：内核级线程模型、用户级线程模型和两级线程模型（也称混合型线程模型），它们之间最大的差异就在于用户线程与内核调度实体（KSE，Kernel Scheduling Entity）之间的对应关系上。而所谓的内核调度实体 KSE 就是指可以被操作系统内核调度器调度的对象实体，简单来说， KSE 就是内核级线程，是操作系统内核的最小调度单元，也就是我们写代码的时候通俗理解上的线程了。 阅读全文
posted @ 2019-08-16 19:10 勋爵|X-knight 阅读(783) 评论(0) 推荐(0)
微服务浅谈&服务治理的演变过程
摘要：本篇文章先简单介绍了互联网架构的演变，进而介绍了服务化，最后介绍了微服务及最新的服务网格（Service Mesh）。 阅读全文
posted @ 2019-08-15 18:52 勋爵|X-knight 阅读(2211) 评论(1) 推荐(2)
中文情感分析——snownlp类库 源码注释及使用
摘要：最近发现了snownlp这个库，这个类库是专门针对中文文本进行文本挖掘的。 主要功能： 中文分词（Character-Based Generative Model） 词性标注（TnT 3-gram 隐马） 情感分析（现在训练数据主要是买卖东西时的评价，所以对其他的一些可能效果不是很好，待解决） 文本 阅读全文
posted @ 2019-05-14 12:59 勋爵|X-knight 阅读(8798) 评论(0) 推荐(6)
[数据库锁机制] 深入理解乐观锁、悲观锁以及CAS乐观锁的实现机制原理分析
摘要：前言： 在并发访问情况下，可能会出现脏读、不可重复读和幻读等读现象，为了应对这些问题，主流数据库都提供了锁机制，并引入了事务隔离级别的概念。数据库管理系统（DBMS）中的并发控制的任务是确保在多个事务同时存取数据库中同一数据时不破坏事务的隔离性和统一性以及数据库的统一性。 乐观并发控制(乐观锁)和悲 阅读全文
posted @ 2019-04-08 15:16 勋爵|X-knight 阅读(5802) 评论(2) 推荐(5)
简单了解云计算
摘要：概念： “云计算”是一种信息技术（IT）模式，通常通过互联网对系统资源和高级别服务（比如业务服务）的共享池提供按需访问。 ...这么说吧，这里面其实有两方面概念，包含“云”和“计算”。“云”是提供资源服务的网络，“计算”是网络中的各种资源，包括操作系统、存储空间、运行平台、数据库里、应用软件等等，这 阅读全文
posted @ 2019-04-08 13:58 勋爵|X-knight 阅读(337) 评论(0) 推荐(1)
Ubuntu16.04安装Redis
摘要：前言 Redis是常用基于内存的Key-Value数据库，比Memcache更先进，支持多种数据结构，高效，快速。用Redis可以很轻松解决高并发的数据访问问题；做为时时监控信号处理也非常不错。环境 环境：Ubuntu 16.04 安装Redis服务器端 安装完成后，Redis服务器会自动启动，我们 阅读全文
posted @ 2019-04-02 19:58 勋爵|X-knight 阅读(218) 评论(0) 推荐(0)
分布式系统与分布式锁简析
摘要：有80%的程序员对于分布式系统，并没有一个很清晰的概念。分布式系统涉及到很多的技术、理论与协议，很多人也说，分布式系统是“入门容易，深入难”，有一些人简历上写着熟悉分布式系统，但是其实只能算是管中窥豹，只见得其中一斑。 那么究竟什么是分布式系统？ 分布式系统是由一组通过网络进行通信、为了完成共同的任 阅读全文
posted @ 2019-04-01 19:03 勋爵|X-knight 阅读(836) 评论(0) 推荐(3)
Redis可视化工具 Redis Desktop Manager
摘要：阅读目录 1、前言 2、软件安装 2.1、安装Redis 2.2、安装redis-desktop-manager 3、测试连接并抛出问题 3.1、测试连接 3.2、抛出问题 4、解决问题 4.1、问题1 4.2、问题2 4.2、问题3 4.4、问题4 回到顶部 1、前言 从接触Redis也有两年，平 阅读全文
posted @ 2018-08-28 10:52 勋爵|X-knight 阅读(1370) 评论(2) 推荐(1)
大数据处理技术与区块链技术 -- 相关技术概念
摘要：下学期导师接了一个973军工项目，会用到大数据处理、分布式存储等相关技术。总体来说，还是与自己之后想要从事的区块链领域有些相关性的，可以为自己之后的求职简历增加些相关项目经验。下面，我们来分析几个区块链工程师的任职要求，来看看相关性。 分析以上岗位，我们很容易发现，许多区块链开发工程师的应聘要求：对 阅读全文
posted @ 2018-08-20 22:16 勋爵|X-knight 阅读(858) 评论(2) 推荐(1)