失误与经验
2017-03-22 09:33:43
Hive SQL中tab符导致报错。
经验：复杂的SQL需要格式化，消除隐藏的tab符。
2017-03-04 08:56:27
SQL解析、编译、优化是个研究方向。
深入研究一个框架，通过实践学习编程思想、算法、数据结构、设计模式。
2017-02-25 23:10:41
测试表为内部表，每次加载文件到分区之前都会先删除已经存在分区，导致数据文件也被删除。
经验：测试表要与正式表保持尽可能的一致。
2017-02-25 11:26:14
历史表正式任务中历史表还写的是测试表，没有修改为正式表。
经验： 历史表应该作为一个变量放在脚本前面醒目的位置，写死在程序中容易遗忘，造成BUG。
2017-01-21 10:46:03
半年的数据文件被删除：1、外部表引用了其他表的数据文件；2、删除时先将外部表改为内部表再删除，导致引用的其他表的数据文件也被删除；
原因：1、数据文件目录不规范；2、删表没按规范流程操作；
2017-01-16 01:16:28
王国维《人间词话》之二六
“古今之成大事业、大学问者，必经过三种之境界。
‘昨夜西风凋碧树，独上高楼，望尽天涯路’，此第一境也；
‘衣带渐宽终不悔，为伊消得人憔悴’，此第二境也；
‘众里寻他千百度，回头蓦见，那人正在灯火阑珊处’，此第三境也。
此等语皆非大词人不能道。
然遽以此意解释诸词，恐晏、欧诸公所不许也。”
第一种境界：“昨夜西风凋碧树。独上高楼，望尽天涯路。”这词句出自晏殊的《蝶恋花》，原意是说，“我”上高楼眺望所见的更为萧飒的秋景，西风黄叶，山阔水长，案书何达？在王国维此句中解成，做学问成大事业者，首先要有执着的追求，登高望远，瞰察路径，明确目标与方向，了解事物的概貌。第二种境界：“衣带渐宽终不悔，为伊消得人憔悴。”这引用的是北宋柳永《蝶恋花》最后两句词，原词是表现作者对爱的艰辛和爱的无悔。若把“伊”字理解为词人所追求的理想和毕生从事的事业，亦无不可。王国维则别具匠心，以此两句来比喻成大事业、大学问者，不是轻而易举，随便可得的，必须坚定不移，经过一番辛勤劳动，废寝忘食，孜孜以求，直至人瘦带宽也不后悔。第三种境界：“众里寻他千百度，蓦然回首，那人却在，灯火阑珊处。”是引用南宋辛弃疾《青玉案》词中的最后四句。梁启超称此词“自怜幽独，伤心人别有怀抱”。这是借词喻事，与文学赏析已无交涉。王国维已先自表明，“吾人可以无劳纠葛”。他以此词最后的四句为“境界”之第三，即最终最高境界。这虽不是辛弃疾的原意，但也可以引出悠悠的远意，做学问、成大事业者，要达到第三境界，必须有专注的精神，反复追寻、研究，下足功夫，自然会豁然贯通，有所发现，有所发明，就能够从必然王国进入自由王国。
2017-01-15 23:15:30
朱熹《观书有感》其一
半亩方塘一鉴开，天光云影共徘徊。
问渠那得清如许？为有源头活水来。
朱熹《观书有感》其二
昨夜江边春水生，艨艟巨舰一毛轻。
向来枉费推移力，此日中流自在行。
文字赏析
从题目看，这两首诗是谈观书体会的，意在讲道理，发议论。弄不好，很可能写成“语录讲义之押韵者”。但作者写的却是诗，因为是从自然界和社会生活中捕捉了形象，让形象本身来说话。第一首诗是抒发读书体会的哲理诗，“半亩方塘一鉴开，天光云影共徘徊”，半亩的“方塘”不算大，只有半亩地的一个方方的池塘，但它像一面镜子那样地澄澈明净，“一鉴”的“鉴”，就是“镜”，照人的镜子，“镜”和“鉴”是一个意思。“半亩方塘”像一面镜子那样打开了。“半亩方塘”虽然不算大，但它却像一面镜子那样地澄澈明净，“天光云影”都被它反映出来了。闪耀浮动，情态毕见。作为一种景物的描写，这也可以说是写得十分生动的。这两句展现的形象本身就能给人以美感，能使人心情澄净，心胸开阔。这一种感性的形象本身，它还蕴涵着一种理性的东西。很明显的一点是，“半亩方塘”里边的水很深、很清，所以它能够反映“天光云影”；反之，如果很浅、很污浊，它就不能反映，或者是不能准确地反映。诗人正是抓住了这一点作进一步的挖掘，写出了颇有哲理的三、四两句：“问渠那得清如许？为有源头活水来。”“问渠”的“渠”，不是“一渠水”的“渠”，它相当于“它”的意思，这里是指方塘。“问渠”就是“问它”。在这个地方“它”指代的是“方塘”。诗人并没有说“方塘”有多深，第三句诗里边突出了一个“清”字，“清”就已经包含了“深”。因为塘水如果没有一定的深度的话，即使很“清”也反映不出“天光云影共徘徊”的情态。诗人抓住了塘水“深”而且“清”，就能反映“天光云影”的特点。但是到此诗人并没有结束，他进一步地提出了一个问题。“问”那个“方塘”“那得清如许？”问它为什么这么“清”，能够反映出“天光云影”来。而这个问题孤立地看这个“方塘”的本身没有法子来回答。诗人于是放开了眼界，从远处看，终于，他看到了“方塘”的“源头”，找到了答案。就因为“方塘”不是无源之水，而是有那永不枯竭的“源头”，源源不断地给它输送了“活水”。这个“方塘”由于有“源头活水”的不断输入，所以它永不枯竭，永不陈腐，永不污浊，永远“深”而且“清”。“清”得不仅能反映出“天光云影”，而且能反映出“天光”和“云影”“共徘徊”这么一种细致的情态。这就是这一首小诗所展现的形象和它的思想意义。第二首诗也是借助形象喻理的诗。这首诗用水上行舟作对比，说明读书有个循序渐进的过过程，要在渐进中穷尽事理，初学时需要“推移”之力，到后来探得规规律，懂得事理之时，就能“自在”而行了。朱熹在这首诗中是讲读书的方法，但一样无怎样读书的影子。用一种比喻的方法，很通俗告诉了人们怎样读书。是的，现代社会日新月异，人们要学的知识太多了，各种各样的书让人们目不暇接。如果人们急于求成，不花功夫去一点点的积累知识，就不能取得好的学习方法。要读大量的书，没有好的学习方法不成，人们只有在学习中摸索一套对自已有意的方法，才能扩大知识面，让那些知识象个图书馆一样存贮在人们的脑中，这样人们就学倒了大量的知识，并学有所用。
2017-01-07 20:39:39
你自己编写的库
你应该将自己编写的每一个程序都当做一个日后可以重用的库。
. 编写用例，在实现中将计算过程分解成可控的部分。
. 明确静态方法库和与之对应的 API（或者多个库的多个 API）。
. 实现 API 和一个能够对方法进行独立测试的 main()函数。
这种方法不仅能帮助你实现可重用的代码，而且能够教会你如何运用模块化编程来解决一个复杂的问题。API 的目的是将调用和实现分离：除了API 中给出的信息，调用者不需要知道实现的其他细节，而实现也不应考虑特殊的应用场景。API 使我们能够广泛地重用那些为各种目的独立开发的代码。没有任何一个Java 库能够包含我们在程序中可能用到的所有方法，因此这种能力对于编写复杂的应用程序特别重要。相应地，程序员也可以将API 看做调用和实现之间的一份契约，它详细说明了每个方法的作用。实现的目标就是能够遵守这份契约。一般来说，做到这一点有很多种方法，而且将调用者的代码和实现的代码分离使我们可以将老算法替换为更新更好的实现。在学习算法的过程中，这也使我们能够感受到算法的改进所带来的影响。
2017-01-07 11:20:53
看了《最强大脑》人机大战图片识别：机器人赢了，人工智能的时代来了！
《如何提升程序员的价值》：http://www.tuicool.com/articles/qIzMfmY
王辉：如何提升程序员的价值？通过对最近经历的几件事情的深入分析，我得到的结论是，用您的代码给更多的人带来便利，受益的人越多，您的价值也就越高。
《八十年代访谈录》：
现在物流和信息的快速流通，确实带来了很多方便也带来了财富，但是好像没有带来精神的专注和厚度，这些都丢了。
李陀：
我发现很多作家见面之后
大家都耻于谈文学
宁愿胡扯
朋友见面往往没啥意思
吃喝 瞎聊
吃完聊完也就散了
这在八十年代是不可想象的
那时候也聚会 也吃饭
但真正吸引人的
是对政治 哲学 文学
许许多多问题的讨论
2017-01-05 18:36:58
2017，给自己定个小目标：1、每天两小时学习数据结构、算法、设计模式。2、在安静的时候写日记。
最近的状态：浮躁、静不下心来、急于求成；
怎么办？每天优先完成两个小时小目标。
2017-01-02 22:35:02
罗振宇：《时间的朋友2015》
1、时间：结果是成功或失败都不重要；
2、时间窗口：机会；
3、商业模式：点、线、面；
4、有尊严的工作：“在这方面，我是专业的！”；
2017-12-31 10:43:45
张小龙：《微信的四大价值观》
第一点，一切以用户价值为依归，用户价值是第一位的；
第二点，让创造发挥价值；
第三点，一个好的产品是一个用完即走的；
第四点，让商业化存在于无形之中；
2016-12-17 08:55:10
失误：java -cp执行一个jar包，报错java.lang.ClassNotFoundException，折腾一段时间发现原来是依赖jar包包名写错了。
经验：1、不仔细。2、应该根据报错定位到问题所在的位置，再逐步排除问题。
2016-12-15 22:33:18
失误：任务上线了，但忘记配依赖。最后检查时发现了。
经验：1、根据任务上线流程，提前写明步骤，避免遗漏。2、按照步骤检查，再次确认。
2016-12-11 21:58:36
《大数据Hadoop与Spark学习经验谈》：https://mp.weixin.qq.com/s/s0FW9hKmKhrNMqa_cfJGnA
2016-12-04 16:11:41
如何入门分布式计算？
2016-12-03 22:40:33
如果说掌握一门赖以生计的技术是技术人员要学会的第一课的话，那么，我觉得，技术人员要真正学会的第二课，不是技术，而是业务、交流与协作，学会关心其他工作伙伴的工作情况和进展。创造价值、服务和效益。
--《技术人员应真正学会的第二课程》：http://chuansong.me/n/145532
“我比较容易接受变化，觉得任何变化都是一种财富，一旦适应这种变化就具备了可以处理这种事情的能力。”这可能是汪海后来一直待在淘宝的原因。“拥抱变化”是淘宝的六大价值观之一，这里永远都不缺乏变化。“淘宝有很多的岗位可以换，所以在这里会有很大的提升空间。”汪海说，“每一次换岗位都会到一个新领域，随着在这些领域每一次技术提升，自己的眼界越来越宽，最后会发现自己跟全球是同步的。”
寄语技术新人 “谦虚、激情，耐得住寂寞”
“淘宝目前的发展程度可以代表互联网的发展程度，比如云计算，如果在淘宝学不到东西，再去别的公司也不会学到东西。”汪海说。对一些希望从事技术工作的新人，汪海给出一些建议：作为新人首先要谦虚。年轻人有激情又有冲劲，这是优势，但冲劲的另一面是冲动，好高骛远。很多事情关键是要有行动，少空谈，多干实事。新人应该放低姿态，多学习。其次，要耐得住寂寞。作为技术人员，做的都是幕后工作，耐不住寂寞就不能形成独立思考的能力，就难以成为行业内有影响力的人。第三，要培养开放和分享的心态。在一家高科技公司，如果抱着保守和封闭的心态，成长肯定会受阻，要以开放的心态与大家分享自己的绝招。第四，要学会利用公司资源。作为新人，要善于在工作中挖掘资源。淘宝是一个高速发展的公司，有很多岗位可以选择，与优秀的人才合作，会有学不完的东西，提升空间是无穷的。
--七公
2016-11-22 13:42:10
这个时候，我养成了这样一个习惯，不要象以前那样，一有问题就去问，而是先通过如下方式解决
1、自己查资料，包括书本，在线文档，google，别人的总结等等，试图自己解决
2、多做实验，证明自己的想法以及判断
3、如果实在不行，再去论坛问，或者问朋友
4、如果问题解决了，把该问题的整个解决方法记录下来，以备后来的需要
5、多关注别人的问题，或许以后自己就遇到了，并总是试图去多帮助别人
6、习惯从多个方面去考虑问题，并且养成良好的总结习惯
良好的习惯，才是我慢慢把Oracle学好的关键，也因为我总是试图去解答别人的问题而提高自己的解决问题的能力，所以在csdn，我不久就成了Oracle的大斑竹。
--托雷 http://www.woshipm.com/zhichang/17301.html
2016-11-15 08:29:27
有一句话叫“书非借不能读也”，因为借书必须在指定的时间读完，所以读完的可能性很大，如果读的时间越长，有可能一辈子都读不完这本书，SO如果能一天读完一本书便是很好，读完之后写一篇读书笔记便是最好。
--清英 http://ifeve.com/about-site/about-me/
20161024
问题：数据回滚后，数据量比源表多。
原因：回滚后分区名称发生改变，以前存在的其他分区没有覆盖。
经验：以后回滚数据，最好提前删除回滚分区对应的数据文件。
20161012
问题：1、不需要回滚的数据，也回滚了；2、回滚速度太慢；
原因：没有方案就行动了；没有评估时间；
20161011
问题：测试表数据插入正式表，只覆盖了部分数据文件，导致部分数据重复。
原因：1、测试表数据插入正式表后没有测试数据量变化；2、最好提前删除正式表文件。
20161010
问题：表修改后，测试表数据未插入正式表。
原因：没有规范的流程
