麦哲思科技

摘要： 结束了在武汉四天的校招行程。第一天判笔试题到晚上十二点，接着连续技术面试两天半。校招不仅仅是脑力上考验，也是体力上的考验。但相比去年在成都的招聘行程，今年感觉轻松许多，从而也有精力写写这几天的感想。从笔试说起技术笔试很少有选择题，一般都是各种各样的算法题。在网络没有那么发达的时候，要准备笔试，基本... 阅读全文

摘要： 在分布式计算中，为了提高计算速度，数据本地性是其中重要的一环。 不过有时候它同样也会带来一些问题。一.问题描述在分布式计算中，大多数情况下要做到移动计算而非移动数据，所以数据本地性尤其重要，因此我们往往也是将hdfs和spark部署在相同的节点上，有些人可能会发现即使他已经... 阅读全文

摘要： 在大量数据中对一些字段进行关联。举例ipTable：需要进行关联的几千条ip数据(70k) hist：历史数据（百亿级别） 直接join将会对所有数据进行shuffle，需要大量的io操作，相同的key会在同一个partition中进行处理，任务的并发度也收到了限制。使用broad... 阅读全文

摘要： 1.几种缓存数据的方法例如有一张hive表叫做activity1.CACHE TABLE//缓存全表sqlContext.sql("CACHE TABLE activity")//缓存过滤结果sqlContext.sql("CACHE TABLE activity_cached a... 阅读全文

摘要： 与map方法类似，map是对rdd中的每一个元素进行操作，而mapPartitions(foreachPartition)则是对rdd中的每个分区的迭代器进行操作。如果在map过程中需要频繁创建额外的对象(例如将rdd中的数据通过jdbc写入数据库,map需要为每个元素创建一个链接... 阅读全文

摘要： android 修改系统的dialog样式 一、觉得自定义配置文件麻烦？那就来修改系统自定义XML文件来实现修改系统dialog的样式吧。 如果是在XML中样式：首先来说下样式。 在 Style.xml 文件（如果没有该文件就创建一个XML名为Style.xml） 如... 阅读全文

摘要： 升级python到2.7后$ ansible报错Traceback (most recent call last): File "/usr/bin/ansible", line 36, in from ansible.runner import RunnerImportE... 阅读全文

摘要： spark1.5发布了，赶紧去下了源码尝鲜git clone git://github.com/apache/spark.git -b branch-1.5输入命令进行编译./make-distribution.sh --tgz -Phadoop-2.4 -Pyarn -Dskip... 阅读全文

摘要： 上篇文章中我们提到了图片加载其实是用了三条线程，如果没看过的同学可以先了解下这里。 fackbook的Fresco的Image Pipeline以及自身的缓存机制 那么今天我们就来探索一下如何在代码中改变图片实现的状态和内容，前面我们已经使用过SimpleDraweeVi... 阅读全文

摘要： 什么是一个好的应用架构？怎么才能搭建大型的应用架构？其实每个人在工作几年之后都会有这个疑问，都在寻求好点的框架，那么小编我总结一下我的经验给大家。 其实对于客户端，一个好的应用架构，复杂度不亚于服务端，因为需要承载需求和产品的变更，如果前期没弄好，后期要么成烂尾，要么就重... 阅读全文