2014 年 11月随笔档案 - 代码王子

hive中与hbase外部表join时内存溢出（hive处理mapjoin的优化器机制）

摘要：与hbase外部表（wizad_mdm_main）进行join出现问题： CREATE TABLE wizad_mdm_dev_lmj_edition_result as select * from wizad_mdm_dev_lmj_20141120 as w JOIN wizad_md... 阅读全文

posted @ 2014-11-28 17:03 代码王子阅读(336) 评论(0) 推荐(0) 编辑

hive的数据导入与数据导出：（本地，云hdfs，hbase），列分隔符的设置，以及hdfs上传给pig如何处理

摘要：hive表的数据源有四种： hbase hdfs 本地其他hive表而hive表本身有两种: 内部表和外部表。而hbase的数据在hive中，可以建立对应的外部表（参看hive和hbase整合）内部表和外部表区别：删除时，内部表删除hadoop上的数据；而外部表不删，其数据在... 阅读全文

posted @ 2014-11-26 18:13 代码王子阅读(1239) 评论(0) 推荐(0) 编辑

hive的map类型处理

摘要：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-CollectionFunctions --首先进行一些基础配置设置： SET mapred.job.queue.na... 阅读全文

posted @ 2014-11-26 18:10 代码王子阅读(1994) 评论(0) 推荐(0) 编辑

pig的udf编写

摘要：http://www.cnblogs.com/anny-1980/p/3673569.html http://blog.csdn.net/ruishenh/article/details/12048067 http://blog.csdn.net/ruishenh/article/detail... 阅读全文

posted @ 2014-11-26 17:09 代码王子阅读(66) 评论(0) 推荐(0) 编辑

Dynamics CRM2013 编辑视图时弹出尚未保存所做的更改警示框

摘要：CRM2013中当对视图进行自定义编辑时，总会弹出如下图所示的警示框，一般我们都会选择离开此页来保存我们所做的更改，显而易见的是这又是CRM2013的一个bug 在UR2 for Dynamics CRM sp1补丁中，微软修复了这个问题描述如下，其中提到的前提是自动保存被关闭的情... 阅读全文

posted @ 2014-11-26 16:21 代码王子阅读(92) 评论(0) 推荐(0) 编辑

Dynamics CRM2013 sub grid中数据翻页问题

摘要：CRM2013中一个很低级很令人无语的BUG，见下图subgrid中的明细条目超过当前页设置的条目后会有翻页，在底下有个paging bar会显示条数、页数、当前所处页数但sp1版本的CRM打上ur1补丁后，翻到最后一页就会变成这样了，底下的paging bar消失了，是不是感... 阅读全文

posted @ 2014-11-26 14:37 代码王子阅读(83) 评论(0) 推荐(0) 编辑

Dynamics CRM2013 注释中的内容无法正常显示问题

摘要：CRM2013中在表单中插入注释，并把注释设置成默认选项卡后打开一个已经挂了附件的表单，但却显示找不到记录必须要再点击下注释，内容才会出来查了半天不得其解,终于在ur1 for CRM2013 sp1的修复bug信息中找到了答案，原来是bug啊,好吧乖乖打补丁... 阅读全文

posted @ 2014-11-26 13:27 代码王子阅读(110) 评论(0) 推荐(0) 编辑

最优解算法的讨论

摘要：不懂优化的人希望能有通用的方法来解决他手头的问题，但不幸的事没有这种方法存在，快速的方法都需要某些条件，比如常见的有强凸，线性，可分解啥的。目前研究的比较成熟的就是强凸光源可分解非凸没有特别有效的方法来解，如果是强凸的，何必用那么复杂的方法求最优解？正是因为不是强凸的，才用到优化方法。... 阅读全文

posted @ 2014-11-18 13:29 代码王子阅读(467) 评论(0) 推荐(0) 编辑

ROC曲线的AUC（以及其他评价指标的简介）知识整理

摘要：相关评价指标在这片文章里有很好介绍信息检索（IR）的评价指标介绍 - 准确率、召回率、F1、mAP、ROC、AUC:http://blog.csdn.net/marising/article/details/6543943 ROC曲线：接收者操作特征（receiveroperating ... 阅读全文

posted @ 2014-11-18 12:49 代码王子阅读(551) 评论(0) 推荐(0) 编辑

互联网广告的个性化推荐平台设计--相关知识

摘要：人群分类模型根据用户人群数据记录，建立人群属性分类模型，根绝用户特点，将用户标记为特定类别。据此进行精准定向服务，并进行效果评估。主要分类方法： 1.采用模糊数学综合判定理论，构建关系矩阵，判定类别属性的映射关系。采样真实数据，模拟真实数据分布，统计属性取值的概率分布，作为概率的估计值，另外，... 阅读全文

posted @ 2014-11-14 18:32 代码王子阅读(132) 评论(0) 推荐(0) 编辑

pig 的chararry类型不能用比较运算符comparison operator

摘要：pig 的chararry类型可能是按字段，逐个字段进行比较。 element_id 是chararray类型，语句： no_app_category_mapping = filter no_element_id by element_id == '' or element_id is ... 阅读全文

posted @ 2014-11-14 14:22 代码王子阅读(138) 评论(0) 推荐(0) 编辑

pig函数以及关键字的一些实例应用的总结（来自pig笔记）

摘要：http://wenku.baidu.com/link?url=yb7KnpSj9nHxWk_MsEVUezvB24evRf9wR87FX0dTT77pGXNXi6k3o_kTmAkBrpIHTqo66cr8P5cGOdHJKzqFsWFVt6xgvzWs5cxWKfcs6ee 这里面总结的挺全... 阅读全文

posted @ 2014-11-13 17:46 代码王子阅读(488) 评论(0) 推荐(0) 编辑

pig对null的处理（实际，对空文本处理为两种取值null或‘’）

摘要：pig对文本null的处理很特殊。会处理成两种null，还会处理成''这种空值。比如，读name,age,sex日志信息。name取值处理，如果记录为“，，，”这样，会将name取值为null，如果记录为“，19，男”则name会处理为''。同样是空值，pig读取后的取值却不一样。所以一定要小... 阅读全文

posted @ 2014-11-13 15:58 代码王子阅读(361) 评论(0) 推荐(0) 编辑

pig中查询top k，返回每个hour和ad_network_id下最大两个记录（SUBSTRING，order，COUNT_STAR，limit）

摘要：pig里面是有TOP函数，不知道为什么用不了。有时间要去看看pig源码了。 SET job.name 'top_k'; SET job.priority HIGH; --REGISTER piggybank.jar; REGISTER wizad-etl-udf-0.1.jar; --... 阅读全文

posted @ 2014-11-10 17:18 代码王子阅读(145) 评论(0) 推荐(0) 编辑

pig的内置函数小总结（不全）

摘要：piggybank里面有很多函数，可以用register和define调用。也可以用java仿照piggybank自行开发。比如读sequence二进制文件，可以用piggybank里面函数SequenceFileLoader，也可以自行开发函数。 --REGISTER piggybank.... 阅读全文

posted @ 2014-11-05 15:08 代码王子阅读(179) 评论(0) 推荐(0) 编辑

Dynamics CRM2013 更新用户数据主要电子邮件字段报数据加密错误

摘要：今天在更新用户数据中的主要邮件字段时报数据可以进系统设置—数据管理—数据加密中开启，但前提是必须启用https访问而不能用http,在第二个框内输入秘钥点击激活就行了，我这边已经激活过了所以显示的是更改。秘钥的话用VS中的GUID工具生成下就好，这个秘... 阅读全文

posted @ 2014-11-05 09:48 代码王子阅读(88) 评论(0) 推荐(0) 编辑

RTB--Real TimeBidding模式的互联网广告（实时竞价的广告投放）

摘要：RTB（real time bidding）实时竞价允许广告买家根据活动目标、目标人群以及费用门槛等因素对每一个广告及每次广告展示的费用进行竞价。竞价成功后获得广告展示机会，在展示位置上展示广告。其内部先根据展示位（SSP）的价格估计，实时发出展示请求，买方（DSP）实时竞拍出价，双方通过ad... 阅读全文

posted @ 2014-11-03 18:45 代码王子阅读(1096) 评论(0) 推荐(0) 编辑

Dynamics CRM2013 去除界面顶部黄色的CRM For Outlook条框

摘要：Dynamics CRM2013中每次打开系统页面上方都会有个黄条看着很是烦人，效果如下图庆幸的是系统提供了关闭的开关，设置—管理—系统设置，把“设置CRM For Outlook消息是否对用户可见”设成否就行。阅读全文

posted @ 2014-11-03 12:40 代码王子阅读(86) 评论(0) 推荐(0) 编辑

代码王子

11 2014 档案