2017 年 10月 14 日随笔档案 - papering

2017年10月14日

摘要： spark 行动算子 TensorFlow 阅读全文

posted @ 2017-10-14 23:07 papering 阅读(190) 评论(0) 推荐(0) 编辑

摘要：横向扩展(Scale Out) 与纵向扩展（Scale Up） - kevin.gg - 博客园 https://www.cnblogs.com/problog/articles/2561440.html Scale Out 按字面意思是超过尺寸范围，而Scale Up则是按比例增高。即使用靠增加阅读全文

posted @ 2017-10-14 22:38 papering 阅读(921) 评论(0) 推荐(0) 编辑

补发推后

摘要：阅读全文

posted @ 2017-10-14 13:20 papering 阅读(132) 评论(0) 推荐(0) 编辑

异步变化驱动异步调用

摘要：阅读全文

posted @ 2017-10-14 13:12 papering 阅读(128) 评论(0) 推荐(0) 编辑

将众多小文件输入Hadoop的解决方案可挂载的HDFS

摘要：配置HDFS为可挂载后： 1-可挂载后才支持非完整POSIX语义； 2-仍然不支持随机写入，仍然为“一次写入，多次读取”； 3-可能误用，导致众多小文件；： 1-使用Solr存储和检索小文件； 2-使用HBase存储小文件，使用路径和文件名称做为键； 3-使用容器格式，如SequenceFiles 阅读全文

posted @ 2017-10-14 09:37 papering 阅读(209) 评论(0) 推荐(0) 编辑

zookeeper_action

摘要：连接串从节点列表本地缓存主节点对未分配的任务，随机分配给从节点(不合理？？)从节点保存一个本地待执行任务列表单独的线程对节点已分配任务进行循环进程p为了获锁——＞创建节点znode_/lock且其为临时节点：/lock 临时节点避免该znode崩溃而锁无法释放 https://zookeepe 阅读全文

posted @ 2017-10-14 08:30 papering 阅读(163) 评论(0) 推荐(0) 编辑