daniel456 - 博客园

2018年1月5日

IDEA2017 maven Spark HelloWorld项目（本地断点调试）

摘要：作为windows下的spark开发环境 1.应用安装首先安装好idea2017 java8 scalaJDK spark hadoop（注意scala和spark的版本要匹配） 2.打开idea，创建建maven项目，如图所示项目创建好后，记得勾选maven auto upate选项，这个动作阅读全文

posted @ 2018-01-05 14:26 daniel456 阅读(2323) 评论(0) 推荐(1) 编辑

Spark内存管理详解

摘要： Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spar 阅读全文

posted @ 2018-01-05 14:23 daniel456 阅读(10335) 评论(4) 推荐(4) 编辑

Spark基础知识

摘要：一、关于Apache Spark Apache Spark是个开源和兼容Hadoop的集群计算平台。由加州大学伯克利分校的AMPLabs开发，作为Berkeley Data Analytics Stack（BDAS）的一部分，当下由大数据公司Databricks保驾护航，更是Apache旗下的顶级阅读全文

posted @ 2018-01-05 14:18 daniel456 阅读(270) 评论(0) 推荐(0) 编辑

scala基本语法

摘要： http://www.runoob.com/scala/scala-tutorial.html 阅读全文

posted @ 2018-01-05 10:20 daniel456 阅读(112) 评论(0) 推荐(0) 编辑

2018年1月4日

分布式锁的一点理解

摘要：分布式锁的一点理解什么是锁在单进程的系统中，当存在多个线程可以同时改变某个变量（可变共享变量）时，就需要对变量或代码块做同步，使其在修改这种变量时能够线性执行消除并发修改变量。而同步的本质是通过锁来实现的。为了实现多个线程在一个时刻同一个代码块只能有一个线程可执行，那么需要在某个地方做个标记，阅读全文

posted @ 2018-01-04 16:27 daniel456 阅读(251) 评论(0) 推荐(0) 编辑

Redis并发问题

摘要： Redis为单进程单线程模式，采用队列模式将并发访问变为串行访问。Redis本身没有锁的概念，Redis对于多个客户端连接并不存在竞争，但是在Jedis客户端对Redis进行并发访问时会发生连接超时、数据转换错误、阻塞、客户端关闭连接等问题，这些问题均是由于客户端连接混乱造成。对此有2种解决方法：1 阅读全文

posted @ 2018-01-04 16:22 daniel456 阅读(7133) 评论(1) 推荐(0) 编辑

redis集群原理

摘要： redis是单线程，但是一般的作为缓存使用的话，redis足够了，因为它的读写速度太快了。官方的一个简单测试：测试完成了50个并发执行100000个请求。设置和获取的值是一个256字节字符串。结果:读的速度是110000次/s,写的速度是81000次/s 在这么快的读写速度下，对于一般程序来阅读全文

posted @ 2018-01-04 15:45 daniel456 阅读(350) 评论(0) 推荐(0) 编辑

Redis为什么使用单进程单线程方式也这么快

摘要： Redis采用的是基于内存的采用的是单进程单线程模型的KV数据库，由C语言编写。官方提供的数据是可以达到100000+的qps。这个数据不比采用单进程多线程的同样基于内存的KV数据库Memcached差。 Redis快的主要原因是：第一、二点不细讲，主要围绕第三点采用多路 I/O 复用技术来展开。阅读全文

posted @ 2018-01-04 15:38 daniel456 阅读(1177) 评论(0) 推荐(0) 编辑

kafka入门

摘要：一、入门 1、简介 Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Prod 阅读全文

posted @ 2018-01-04 11:53 daniel456 阅读(363) 评论(0) 推荐(0) 编辑

Kafka Shell基本命令

摘要：创建kafka topic bin/kafka-topics.sh --zookeeper node01:2181 --create --topic t_cdr --partitions 30 --replication-factor 2 bin/kafka-topics.sh --zookeepe 阅读全文

posted @ 2018-01-04 11:53 daniel456 阅读(7280) 评论(0) 推荐(0) 编辑

andywu

公告