2014 年 10月随笔档案 - 代码王子

分类器评价指标

摘要：在分类器设计过程中，如何评价分类器至关重要，一个好的评价指标更有利于我们对分类模型进行优化；同时，好的分类器评价指标要求其充分反应出分类器对问题的解决能力，也更容易向使用者、客户展示交互。在分类问题中，一个实例可能被判定为一下四种类型之一： TP(True... 阅读全文

posted @ 2014-10-31 20:44 代码王子阅读(810) 评论(0) 推荐(0) 编辑

竞价拍卖理论的介绍（RTB模型中使用第二竞价模型，为的是纳什平衡，保护所有多方利益）

摘要：英式拍卖是最普通的拍卖方式，其形式是拍卖过程中，竞价按阶梯，从低到高，依次递增。最终由出价最高者获得拍卖物品（竞买人变成买受人）。 The first price auction: a form ofauction, where bidders submit one bid in a con... 阅读全文

posted @ 2014-10-31 18:50 代码王子阅读(720) 评论(0) 推荐(0) 编辑

pig的一些实例（我常用的语法）

摘要：在pig中， dump和store会分别完成两个MR，不会一起进行 1：加载名用正则表达式： LOAD'/user/wizad/data/wizad/raw/2014-0{6,7-0,7-1,7-2,7-3,8}*/3_1/adwords*' 或者定义引用：%default cleanedLo... 阅读全文

posted @ 2014-10-31 18:43 代码王子阅读(176) 评论(0) 推荐(0) 编辑

pig简单的代码实例：报表统计行业中的点击和曝光量

摘要：注意：pig中用run或者exec 运行脚本。除了cd和ls，其他命令不用。在本代码中用rm和mv命令做例子，容易出错。另外，pig只有在store或dump时候才会真正加载数据，否则，只是加载代码，不具体操作数据。所以在rm操作时必须注意该文件是否已经生成。如果rm的文件为生成，可以第三文件... 阅读全文

posted @ 2014-10-31 16:11 代码王子阅读(137) 评论(0) 推荐(0) 编辑

pig代码格式上小注意

摘要：1，%default file test.txt 中不要用引号，'' 和“”都不行。'file'不会被识别 2，pig判断相等，用==，不是一个=。、 3，pig中只用单引号，不用双引号，如： target_data = FILTER analyze_data BY (wizad_ad_id... 阅读全文

posted @ 2014-10-30 18:08 代码王子阅读(453) 评论(0) 推荐(0) 编辑

the process cannot access the file because it is being used by another process

摘要：当在IIS中修改绑定的端口号后启动时遇到如下错误,表明你的端口号已经被占用了使用netstat -ano这个指令查看本地端口占用情况，换一个没有被占用的端口即可。阅读全文

posted @ 2014-10-29 11:28 代码王子阅读(230) 评论(0) 推荐(0) 编辑

SharePoint 2013: The "New Web Application" button is disabled is the central administration

摘要：安装完sharepoint foundation2013后，直接通过url访问管理中心,想进application management去新建的话会发现新建按钮是灰色的，即使你用的是系统管理员账号并且是安装sharepoint的账号也是无济于事的要解决这个问题，只要打开开始... 阅读全文

posted @ 2014-10-29 11:19 代码王子阅读(125) 评论(0) 推荐(0) 编辑

Integration between SharePoint 2013 and CRM 2013 (On-Premise)

摘要：具体步骤可见下面的链接 https://community.dynamics.com/crm/b/msdynamicscrmtips/archive/2014/01/27/integration-between-sharepoint-2013-and-crm-2013-on-premi... 阅读全文

posted @ 2014-10-29 09:58 代码王子阅读(103) 评论(0) 推荐(0) 编辑

如何成为一名数据科学家？

摘要：Data Science = statistics who uses python and lives in San Francisco" 恰好我马上启程到 Twitter 的 data science team，而且恰巧懂一点点统计和住在旧金山，所以冲动地没有邀请就厚脸回答了:D 我认为... 阅读全文

posted @ 2014-10-28 13:52 代码王子阅读(136) 评论(0) 推荐(0) 编辑

Windows Server2012R2 添加Microsoft .NET Framework 3.5 功能失败的解决方法

摘要：最近部署了一台Windows Server2012R2的虚机，在安装sharepoint foundation 2013之前安装必备的组件的时候安装到一半报错了没有安装成功，后来发现原来是系统的.NET Framework 3.5功能没装。但是在添加该功能的时候又遇到揪心的问题了，不... 阅读全文

posted @ 2014-10-27 22:40 代码王子阅读(138) 评论(0) 推荐(0) 编辑

Windows Server2012R2 安装 SharePoint 2013 的必备组件

摘要：Windows Server2012R2目前支持SharePoint Server 2013 with Service Pack 1 和 SharePoint Foundation 2013 with Service Pack 1，如果不是会在安装sharepoint必备组件时报不... 阅读全文

posted @ 2014-10-27 15:54 代码王子阅读(132) 评论(0) 推荐(0) 编辑

pig加载两个不同字段个数的文件？load file with different items（f1有42列，f2有43列读到一个对象中）

摘要：我文章提到，加载一个文件的部分列是可行。两列，你只读一列，没问题。但是，两个文件，f1和f2，f1有42列，f2有43列，同时加载到一个流对象，如何？答：成功加载。但是无结构（schema unknown），discribe后看到：Schema for origin_cleaned_data... 阅读全文

posted @ 2014-10-24 17:23 代码王子阅读(99) 评论(0) 推荐(0) 编辑

SSRS: How to Display Checkbox on Report

摘要：在reporting services中显示checkbox可参考如下文章中的方法 http://kkryczka.wordpress.com/2010/12/09/how-to-display-checkbox-on-report/ 阅读全文

posted @ 2014-10-24 15:14 代码王子阅读(116) 评论(0) 推荐(0) 编辑

ADFS部署过程中设置network service对证书的读取权限

摘要：今儿在部署客户正式环境的ADFS时候遇到一问题,在配置完基于声明的身份验证后通过url访问居然报错了，这干过N回的事怎么会出错了呢，百思不得其解网页报错如下系统日志报错如下，回想过程中的每一步，突然想到这回好像没对证书做什么操作，因为证书是客户买... 阅读全文

posted @ 2014-10-22 21:33 代码王子阅读(93) 评论(0) 推荐(0) 编辑

Dynamics CRM2013 ScLib::AccessCheckEx failed

摘要：今天在系统中做某一操作的时候报如下截图错误，把错误日志下载下来，根据AccessRights这:ReadAccess一提示确定是对某一实体没有读的权限。那怎样知道是哪个实体呢,再看上面错误日志中给出了ObjecTypeCode=2,通过下图中的sql能查出对应... 阅读全文

posted @ 2014-10-22 21:00 代码王子阅读(86) 评论(0) 推荐(0) 编辑

ADFS3.0 Customizing the AD FS Sign-in Pages

摘要：Windows Server2012R2自带的adfs是3.0的版本，不同于以前的版本的是3.0中登陆页面的定制化全部是通过powershell指令实现，官方的介绍链接如下：http://technet.microsoft.com/en-us/library/dn280950.aspx... 阅读全文

posted @ 2014-10-17 14:02 代码王子阅读(136) 评论(0) 推荐(0) 编辑

英语年份怎么读（2008怎么读）

摘要：关于四位数年份的读法有下列几种情形： 1）一般情况下，将表示年份的四个数字按前后分为两组，每一组的数字都按基数词来读。例如： 1865年读作 eighteen sixty-five 1998年读作 nineteen ninety-eight 2）如果前两个数字为非“零”数字，后两位数分别为“零”... 阅读全文

posted @ 2014-10-15 17:43 代码王子阅读(3184) 评论(0) 推荐(0) 编辑

Dynamics CRM2013 picklist下拉项行数控制

摘要：CRM2013和前面几个版本相比有了很大的变化，本文中讲述的picklist亦然.CRM2013的picklist效果图如下所示目前能看到的是会根据下拉内容项的数量不同而显示不同的下拉行数，但有时客户会要求你统一风格显示固定的行数怎么办呢。我们可以... 阅读全文

posted @ 2014-10-15 16:14 代码王子阅读(77) 评论(0) 推荐(0) 编辑

Dynamics CRM2013 业务规则的新建、激活与删除

摘要：CRM2013的一个新的feature叫做业务规则，一些页面的简单的显示隐藏的控制、字段是否必填、有条件的锁定字段、错误提示等等，以前都是需要些脚本代码实现现在只需通过业务规则做一些简单的配置就可以达到同样的效果。进入窗体设计页面，点击上方的业务业务规则，右侧下方点新建业务规则即可。 ... 阅读全文

posted @ 2014-10-15 12:35 代码王子阅读(86) 评论(0) 推荐(0) 编辑

noSQL数据库相关软件介绍（大数据存储时候，必须使用）

摘要：目前图数据库软件七种较为流行：Neo4J, Infinite Graph, DEX,InfoGrid, HyperGraphDB, Trinity, AllegroGraph（http://tech.it168.com/a2012/0112/1302/000001302117_all.sht... 阅读全文

posted @ 2014-10-13 18:07 代码王子阅读(228) 评论(0) 推荐(0) 编辑

数据预处理之归一化

摘要：归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。归一化是为了加快训练网络的收敛性，可以不进行归一化处理归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布，归一化在-1--+1之间是统计的坐标分布。归一... 阅读全文

posted @ 2014-10-11 16:49 代码王子阅读(659) 评论(0) 推荐(0) 编辑

Mahout推荐算法之ItemBased

摘要：Mahout推荐之ItemBased 一、算法原理 (一) 基本原理如下图评分矩阵所示：行为user，列为item. 图（1）该算法的原理： 1. 计算Item之间的相似度。 2. 对用户U做推荐公式(一) Map tmp ; Map tmp1 ; ... 阅读全文

posted @ 2014-10-11 13:08 代码王子阅读(336) 评论(0) 推荐(0) 编辑

Mahout推荐算法之SlopOne

摘要：Mahout推荐算法之SlopOne 一、算法原理有别于基于用户的协同过滤和基于item的协同过滤，SlopeOne采用简单的线性模型估计用户对item的评分。如下图，估计UserB对ItemJ的偏好图（1）在真实情况下，该方法有如下几个问题： 1. 为什么要选择Use... 阅读全文

posted @ 2014-10-11 09:35 代码王子阅读(216) 评论(0) 推荐(0) 编辑

Impala：新一代开源大数据分析引擎

摘要：impala架构分析 Impala是Cloudera公司主导开发的新型查询系统，SQL语义查询在Hadoop的HDFS和HBase中的PB级大数据。Hive系统虽然也提供了SQL语义，但底层执行的是MapReduce引擎，仍然是一个批处理过程，不能满足查询的交互性。相比之下，Impala的最... 阅读全文

posted @ 2014-10-08 17:22 代码王子阅读(272) 评论(0) 推荐(0) 编辑

Google Dremel 原理 - 如何能3秒分析1PB

摘要：摘自：http://www.yankay.com/google-dremel-rationale/ 简介 Dremel 是Google 的“交互式”数据分析系统。可以组建成规模上千的集群，处理PB级别的数据。MapReduce处理一个数据，需要分钟级的时间。作为MapReduce的发起人，G... 阅读全文

posted @ 2014-10-08 16:42 代码王子阅读(275) 评论(0) 推荐(0) 编辑

一个大数据方案：基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎

摘要：网络爬虫架构在Nutch+Hadoop之上，是一个典型的分布式离线批量处理架构，有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取，所以，需要一个分布式搜索引擎，用来对网络爬虫抓取到的网络资源进行实时的索引和搜索。搜索引擎架构在ElasticSear... 阅读全文

posted @ 2014-10-08 11:22 代码王子阅读(389) 评论(0) 推荐(0) 编辑

代码王子

10 2014 档案