摘要：
上周我们这个10人的小团队开发的推荐拉新系统， 日拉新人数已接近4万人。过去几个月这个系统从无到有， 拉新从日增几千稳步增长到日增几万， 同事们几个月来，每天工作13个小时以上，洗澡时间都没有， 有时就住在公司， 回家怕吵到家人，只能睡客厅地板， 周日也不能保证休息。 大家的全力投入，不懈努力才能有 阅读全文
摘要：
intersect except是spark提供的集合差集运算， 但是要求参与运算的两个dataframe，有相同的data Schema。 如果我想从 集合1（attribute1, attribute2, attribute3）求 attribute2 出现在另一个集合2(attribute2, 阅读全文
摘要：
到 官网下载scala tar包 http://www.scala-lang.org/download/ mac Finder里双击解压。 改名成scala 进命令行， mv ~/Downloads/scala /usr/local/share sudo vim /etc/profile expor 阅读全文
摘要：
为了更方便的查询并产生报表， 需要使用shell脚本调用spark-sql spark/bin/spark-sql --master spark://host:7077 -f ${SQL_FILE} > ${OUT_FILE} 阅读全文
摘要：
今天接手一个重复性工作， 需要手工把产品运营们在excel里写的活动规则， 插入数据库表中。为了减少出错， 提高效率。 再加上最近刚刚学R语言， 就用R练练手， 自动生成mysql的sql语句。 一次性提交。 刚才就是判断一个值是否是整数折腾了一小会儿。后来发现R判断这个很简单。 就是as.inte 阅读全文