papering - 博客园

2017年10月31日

Apache Kafka® is a distributed streaming platform. What exactly does that mean?

摘要： https://kafka.apache.org/intro.html 阅读全文

posted @ 2017-10-31 17:03 papering 阅读(172) 评论(0) 推荐(0)

(t,p,o) t:p>=o there cannot be more consumer instances in a consumer group than partitions

摘要： https://kafka.apache.org/intro.html Kafka as a Messaging System How does Kafka's notion of streams compare to a traditional enterprise messaging syste 阅读全文

posted @ 2017-10-31 12:03 papering 阅读(210) 评论(0) 推荐(0)

Goldilocks

摘要： limit 阅读全文

posted @ 2017-10-31 11:22 papering 阅读(155) 评论(0) 推荐(0)

Sqoop

摘要： rmds mapper 阅读全文

posted @ 2017-10-31 11:21 papering 阅读(128) 评论(0) 推荐(0)

Spark SQL includes a cost-based optimizer, columnar storage and code generation to make queries fast.

摘要： https://spark.apache.org/sql/ Performance & Scalability Spark SQL includes a cost-based optimizer, columnar storage and code generation to make querie 阅读全文

posted @ 2017-10-31 00:10 papering 阅读(209) 评论(0) 推荐(0)

2017年10月30日

Sparksql 取代 Hive？

摘要： sparksql hive https://databricks.com/blog/2014/07/01/shark-spark-sql-hive-on-spark-and-the-future-of-sql-on-spark.html https://cwiki.apache.org/conflu 阅读全文

posted @ 2017-10-30 23:43 papering 阅读(699) 评论(0) 推荐(0)

Eliminates these repeated computation in multi aggregations query

摘要： https://github.com/pingcap/tispark/commit/dcca23bfa1aa0c356a4280d82bc8301c0de08318 阅读全文

posted @ 2017-10-30 20:56 papering 阅读(234) 评论(0) 推荐(0)

rule-based optimizer cost-based optimizer

摘要： SQL processing uses the following main components to execute a SQL query: The Parser checks both syntax and semantic analysis. The Optimizer uses cost 阅读全文

posted @ 2017-10-30 20:01 papering 阅读(532) 评论(0) 推荐(0)

Groovy

摘要： https://en.wikipedia.org/wiki/Groovy_(programming_language) Groovy offers simple, consistent syntax for handling lists and maps, reminiscent of Java's 阅读全文

posted @ 2017-10-30 19:54 papering 阅读(219) 评论(0) 推荐(0)

Interface AutoCloseable

摘要： https://docs.oracle.com/javase/tutorial/essential/exceptions/try.html https://docs.oracle.com/javase/8/docs/api/java/lang/AutoCloseable.html An object 阅读全文

posted @ 2017-10-30 17:20 papering 阅读(264) 评论(0) 推荐(0)

throws ? catch checked unchecked

摘要： ThrowableClass Error (unchecked) Exception IOException (checked) RuntimeException (unchecked) 阅读全文

posted @ 2017-10-30 14:58 papering 阅读(192) 评论(0) 推荐(0)

18 ？ 21

摘要： This is for MyHDFSCat = 18+3 阅读全文

posted @ 2017-10-30 10:04 papering 阅读(330) 评论(0) 推荐(0)

2017年10月29日

$wc

摘要： $ wc --helpUsage: wc [OPTION]... [FILE]... or: wc [OPTION]... --files0-from=FPrint newline, word, and byte counts for each FILE, and a total line ifmo 阅读全文

posted @ 2017-10-29 16:43 papering 阅读(264) 评论(0) 推荐(0)

file descriptor 0 1 2 一切皆文件 stdout stderr stdin /dev/null 沉默是金 pipes 禁止输出屏蔽 stdout 和 stderr 输入输出重定向重定向文件描述符

摘要：读取标准输入 #include "thread.h" #include "thread-sync.h" int n, count = 0; mutex_t lk = MUTEX_INIT(); void Tproduce() { while (1) { retry: mutex_lock(&lk); 阅读全文

posted @ 2017-10-29 16:08 papering 阅读(896) 评论(0) 推荐(0)

# $ # root

摘要： # 阅读全文

posted @ 2017-10-29 15:59 papering 阅读(138) 评论(0) 推荐(0)

inode ls -li 显示索引节点

摘要： ls 阅读全文

posted @ 2017-10-29 14:04 papering 阅读(450) 评论(0) 推荐(0)

again shell

摘要： sh UNIX shell Bourne Again Shell 阅读全文

posted @ 2017-10-29 11:27 papering 阅读(195) 评论(0) 推荐(0)

操作系统资源管理 zookeeper yarn 进程管理分布式 yarn诞生背景

摘要： zookeeper 信息保管员 YARN 简介 https://www.ibm.com/developerworks/cn/data/library/bd-yarn-intro/index.html 阅读全文

posted @ 2017-10-29 11:10 papering 阅读(243) 评论(0) 推荐(0)

2017年10月28日

Xen

摘要： https://www.xenproject.org/ The Xen ProjectTM is the leading open source virtualization platform that is powering some of the largest clouds in produc 阅读全文

posted @ 2017-10-28 21:13 papering 阅读(215) 评论(0) 推荐(0)

I/O 复用 multiplexing data race 同步 coroutine 协程

摘要：小结： 1、A file descriptor is considered ready if it is possible to perform the corresponding I/O operation (e.g., read(2)) without blocking. UNIX网络编程卷1：阅读全文

posted @ 2017-10-28 12:58 papering 阅读(361) 评论(0) 推荐(0)

flume topology design . tier num 分层数目

摘要： 32：+：1 x：1 x＜＝8 https://flume.apache.org/FlumeUserGuide.html#flume-topology-design Flume topology design 【拓扑分层原因 0-缓冲1-路由】 The first step in designin 阅读全文

posted @ 2017-10-28 09:26 papering 阅读(238) 评论(0) 推荐(0)

Page (computer memory) Memory segmentation Page table 虚拟地址到物理地址的转换

摘要： A page, memory page, or virtual page is a fixed-length contiguous block of virtual memory, described by a single entry in the page table. It is the sm 阅读全文

posted @ 2017-10-28 02:48 papering 阅读(613) 评论(0) 推荐(0)

2017年10月27日

service oriented architecture 构造分布式计算的应用程序的方法面向服务的架构分解技术

摘要： zh.wikipedia.org/wiki/面向服务的架构【程序功能做为服务】面向服务的体系结构（英语：service-oriented architecture）是构造分布式計算的应用程序的方法。它将应用程序功能作为服务发送给最终用户或者其他服务。它采用开放标准、与软件资源进行交互并采用表示阅读全文

posted @ 2017-10-27 22:31 papering 阅读(352) 评论(0) 推荐(0)

WildFly JBoss 应用程序服务器

摘要： https://en.wikipedia.org/wiki/WildFly 【实现基于面向服务的架构SOA的web应用和服务】 WildFly,[1] formerly known as JBoss AS, or simply JBoss, is an application server auth 阅读全文

posted @ 2017-10-27 22:23 papering 阅读(249) 评论(0) 推荐(0)

Object/Relational Mapping 数学关系反面向对象

摘要：【hibernate ORM 是对象关系映射框架事实上的持久化存储引擎】 http://docs.jboss.org/hibernate/orm/5.2/userguide/html_single/Hibernate_User_Guide.html Object/Relational Mappin 阅读全文

posted @ 2017-10-27 21:46 papering 阅读(281) 评论(0) 推荐(0)

non-blocking I/O

摘要： https://en.wikipedia.org/wiki/New_I/O_(Java) zh.wikipedia.org/wiki/Java_NIO Java NIO API提供在java.nio套件或其子套件中。緩衝區的基本資料類型字元集的編碼器和解碼器基於Perl風格的正則表達式（在 j 阅读全文

posted @ 2017-10-27 21:25 papering 阅读(188) 评论(0) 推荐(0)

jetty netty

摘要： jetty netty 阅读全文

posted @ 2017-10-27 16:54 papering 阅读(282) 评论(0) 推荐(0)

Azkaban_Oozie_action

摘要： http://azkaban.github.io/azkaban/docs/2.5/ There is no reason why MySQL was chosen except that it is a widely used DB. We are looking to implement com 阅读全文

posted @ 2017-10-27 16:50 papering 阅读(246) 评论(0) 推荐(0)

权限过大 ssh协议通过pem文件登陆

摘要： root@oneweek:~# ssh -i uat.pem root@110.5.15.6@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: UNPROTECTED PRIVATE KEY FILE! @@@@ 阅读全文

posted @ 2017-10-27 16:06 papering 阅读(495) 评论(0) 推荐(0)

交易准实时预警 kafka topic 主题异常交易主题低延迟 event topic alert topic 内存算法测试

摘要： https://www.ibm.com/developerworks/cn/opensource/os-cn-kafka/index.html 周明耀2015 年 6 月 10 日发布示例：网络游戏示例：网络游戏假设我们正在开发一个在线网络游戏平台，这个平台需要支持大量的在线用户实时操作，玩阅读全文

posted @ 2017-10-27 14:46 papering 阅读(597) 评论(0) 推荐(0)

flink_action 多级别的抽象同时处理无界限（流）和有界限（批处理）数据集

摘要：实践 3）通过连表mysql，字段值IS NOT NULL，实现数据分流 CREATE TEMPORARY TABLE `nocache_table_test` ( `device_id` STRING) WITH ( 'connector' = 'rds', 'username' = 'acfo 阅读全文

posted @ 2017-10-27 14:43 papering 阅读(321) 评论(0) 推荐(0)

netty

摘要： netty Netty: Home http://netty.io/ Netty is an asynchronous event-driven network application framework for rapid development of maintainable high perf 阅读全文

posted @ 2017-10-27 13:31 papering 阅读(228) 评论(0) 推荐(0)

1970 ted codd

摘要： 1970 阅读全文

posted @ 2017-10-27 12:54 papering 阅读(155) 评论(0) 推荐(0)

Data dictionary

摘要： Data dictionary 阅读全文

posted @ 2017-10-27 10:11 papering 阅读(160) 评论(0) 推荐(0)

mina

摘要： http://mina.apache.org/ Apache MINA is a network application framework which helps users develop high performance and high scalability network applica 阅读全文

posted @ 2017-10-27 10:10 papering 阅读(193) 评论(0) 推荐(0)

2017年10月26日

be defensive and add checks to prevent null dereferences, NullPointerException

摘要： Tired of Null Pointer Exceptions? Consider Using Java SE 8's Optional! https://www.oracle.com/technical-resources/articles/java/java8-optional.html Ti 阅读全文

posted @ 2017-10-26 23:27 papering 阅读(349) 评论(0) 推荐(0)

hadoop 小文件挂载小文件对NameNode的内存消耗 HDFS小文件解决方案客户端自身机制 HDFS把块默认复制3次至3个不同节点。

摘要： hadoop不支持传统文件系统的挂载，使得流式数据装进hadoop变得复杂。 hadoo中，文件只是目录项存在；在文件关闭前，其长度一直显示为0：如果在一段时间内将数据写到文件却没有将其关闭，则若网络中断后，则我们得到的仅仅是一个空白文件；故：最好编写小文件，这样能尽快将其关闭错误。【mappe 阅读全文

posted @ 2017-10-26 20:03 papering 阅读(490) 评论(0) 推荐(0)

基于Flume的美团日志收集系统架构和设计改进和优化

摘要： 3种解决办法 https://tech.meituan.com/mt-log-system-arch.html 基于Flume的美团日志收集系统(一)架构和设计 - https://tech.meituan.com/mt_log_system_arch.html 基于Flume的美团日志收集系统(一阅读全文

posted @ 2017-10-26 19:02 papering 阅读(453) 评论(0) 推荐(0)

kafka source type

摘要： https://flume.apache.org/FlumeUserGuide.html 【测试模拟】 a1.sources.r1.type = exec a1.sources.r1.command = tail -F /opt/data/access.log 【生产】阅读全文

posted @ 2017-10-26 18:29 papering 阅读(338) 评论(0) 推荐(0)

摘要： https://www.ibm.com/developerworks/cn/opensource/os-cn-kafka/index.html Kafka 与 Flume 很多功能确实是重复的。以下是评估两个系统的一些建议： Kafka 是一个通用型系统。你可以有许多的生产者和消费者分享多个主题。相阅读全文

posted @ 2017-10-26 17:57 papering 阅读(396) 评论(0) 推荐(0)