xd_xumaomao

摘要： 简介 • Kafka是Linkedin于2010年12月份开源的消息系统 • 一种分布式的、基于发布/订阅的消息系统 • 特点： – 消息持久化：通过O(1)的磁盘数据结构提供数据的持久化 – 高吞吐量：每秒百万级的消息读写 – 分布式：扩展能力强 – 多客户端支持：java、php、python、 阅读全文

摘要： Kafka基本命令 #启动server ./bin/kafka-server-start.sh config/server.properties #创建topic(主题)test ./bin/kafka-topics.sh --create --zookeeper localhost:2181 -- 阅读全文

摘要： 参考资料 八斗大数据 阅读全文

摘要： 启动命令 ./bin/spark-shell ./bin/spark-shell --master yarn-client //在yarn上启动 操作实例1 val df=sql("select * from default.orders") df.select("user_id").distinc 阅读全文

摘要： Executor的内存分为3块 ： • 第一块：让task执行代码时，默认占executor总内存的20% • 第二块：task通过shuffle过程拉取上一个stage的task的输出后，进行聚合等操作时使用 ，默认也是占20% • 第三块：让RDD持久化时使用，默认占executor总内存的60 阅读全文

摘要： Hadoop中： – 一个MapReduce程序就是一个job，而一个job里面可以有一个或多个Task，Task又可以区分为Map Task和Reduce Task – MapReduce中的每个Task分别在自己的进程中运行，当该Task运行完时，进程也就结束 Hadoop中的MapReduce 阅读全文

摘要： Spark 是使用 scala 实现的基于内存计算的大数据开源集群计算环境.提供了 java,scala, python,R 等语言的调用接口. Hadoop 和 Spark 的关系 Google 在 2003 年和 2004 年先后发表了 Google 文件系统 GFS 和 MapReduce 编 阅读全文

摘要： word count select word,count(*) from( select explode(split(sentence,' ')) as word from article )t group by word; split：数据切分为数组 explode：行转列 统计每个用户购买过多少 阅读全文

摘要： hadoop中map和reduce都是进程（spark中是线程），map和reduce可以部署在同一个机器上也可以部署在不同机器上。 输入数据是hdfs的block，通过一个map函数把它转化为一个个键值对，并同时将这些键值对写入内存缓存区（100M），内存缓存区的数据每满80M就会将这80M数据写 阅读全文

摘要： Qt 资源系统是一个跨平台的资源机制，用于将程序运行时所需要的资源以二进制的形式存储于可执行文件内部。如果你的程序需要加载特定的资源（图标、文本翻译等），那么，将其放置在资源文件中，就再也不需要担心这些文件的丢失。也就是说，如果你将资源以资源文件形式存储，它是会编译到可执行文件内部。 使用 Qt C 阅读全文