2017年12月10日

关注线程模型

摘要： 看了李林峰的gRpc的文章，我突然发现学会关注线程模型，是了解技术框架非常重要的，甚至是关键的。 阅读全文

posted @ 2017-12-10 22:09 下士闻道 阅读(115) 评论(0) 推荐(0) 编辑

如何查看网卡类型（最大传输速度）

摘要： ethtool network_name 关注 Supported link modes以及Speed 例如： 可以获知网卡是10/100/1000M网卡自适应；当前交换机/路由器l是100M，所以传输速度是100M； 另外就如果网口没有插网线，speed是10M. 所谓Half和full是指半工和 阅读全文

posted @ 2017-12-10 22:07 下士闻道 阅读(1042) 评论(0) 推荐(0) 编辑

spark分区

摘要： spark默认的partition的分区数是和本机CPU的核数保持一致； bucket的数量和reduce的数量一致；buket的概念是map会将计算获得数据放到各个buket中，每个bucket和一个reduce对应；bucket的数量其实就是和partition数量。而且是每个mapper都会写 阅读全文

posted @ 2017-12-10 22:05 下士闻道 阅读(417) 评论(0) 推荐(0) 编辑

YARN的ACL

摘要： 修改完了资源池的权限之后，发现无法查看日志了。报错： User [dr.who] is not authorized to view the logs for... 即使把资源池的权限设置为了*(所有人可以提交，可以admin），也是无法看。后来网调一下，发现原来你在资源池中打开了ACL，就意味着你 阅读全文

posted @ 2017-12-10 21:56 下士闻道 阅读(2214) 评论(0) 推荐(0) 编辑

spark流程跟踪

摘要： 每个action对应一个job，每个job里面会有很多个阶段（stage），其实每个stage都是一个算子（Operation），可能是transformation，可能是action；但是action一定是一个job的最后一个stage， 其实action之前的stage都是做DAG而已，真正触发 阅读全文

posted @ 2017-12-10 21:53 下士闻道 阅读(305) 评论(0) 推荐(0) 编辑

导航