摘要: 在NUMA下,处理器访问它自己的本地存储器的速度比非本地存储器(存储器的地方到另一个处理器之间共享的处理器或存储器)快一些。 在使用spark standalone或者yarn时,如果碰到跨cpu核数访问的情况,可以修改相应的代码。 Yarn: hadoop-yarn-project/hadoop- 阅读全文
posted @ 2017-07-18 13:30 大球和二憨 阅读(520) 评论(0) 推荐(0) 编辑
摘要: nngraph(全称:neural network graph),是torch里面的一个package code example: 阅读全文
posted @ 2017-07-18 11:49 大球和二憨 阅读(495) 评论(0) 推荐(0) 编辑
摘要: 1. 安装 intel parallel里面可以自带,或者单独下载安装 2. 操作步骤 先source amplex-vars.sh 可能会出现一些warning: 此时需要可以做一些set: 3. 开始收集数据 方法一:使用target-pid收集数据: amplex -cl collect lo 阅读全文
posted @ 2017-06-30 15:05 大球和二憨 阅读(729) 评论(0) 推荐(0) 编辑
摘要: 1. 下载hadoop源码(以2.7.2为例子) https://github.com/apache/hadoop/tree/branch-2.7.2/hadoop-yarn-project/hadoop-yarn 2. 安装protobuf 下载release的repo: https://gith 阅读全文
posted @ 2017-06-22 11:51 大球和二憨 阅读(765) 评论(0) 推荐(0) 编辑
摘要: 1.persist: 默认cache()过程是将RDD persist在内存里,persist()操作可以为RDD重新指定StorageLevel. RDD的persist()和unpersist()操作,都是由SparkContext执行的(SparkContext的persistRDD和unpe 阅读全文
posted @ 2017-05-09 13:45 大球和二憨 阅读(844) 评论(0) 推荐(0) 编辑
摘要: 1. 环境设置 因为spark conf 需要很多的环境设置,如: rdd shuffle的均匀性设置等数学运算需要的blas的使用 2. 组件设计 需要构建一些基础组件,如:layers,criterions,optim,tensor这种,以便后期使用。 3. pre process 的过程设计 阅读全文
posted @ 2017-03-28 13:00 大球和二憨 阅读(330) 评论(0) 推荐(0) 编辑
摘要: This document summarizes some potentially useful papers and code repositories on Sentiment analysis / document classification CNN: Related Paper: Conv 阅读全文
posted @ 2017-02-14 15:16 大球和二憨 阅读(3117) 评论(0) 推荐(2) 编辑
摘要: 如何实现一个具有表达式解析功能的功能模块? 解析一个表达式的目的:最基本的是能获取表达式的值;对后端获取数据的简单处理;具备一定的逻辑处理能力; 最简单的实现方法: parse函数返回一个函数,执行返回的函数并传入作用域即可在传入的作用域中,计算出表达式的值。 当然,这种做法简单粗暴。with和ev 阅读全文
posted @ 2017-02-03 18:41 大球和二憨 阅读(647) 评论(0) 推荐(0) 编辑
摘要: 加密数据解密算法 接口如果涉及敏感数据(如wx.getUserInfo当中的 openid ),接口的明文内容将不包含敏感数据。开发者如需要获取敏感数据,需要对接口返回的加密数据( encryptData )进行对称解密。 解密算法如下: PS 目前微信小程序开发者文档中,已给出各种语言的解密代码。 阅读全文
posted @ 2017-02-03 16:16 大球和二憨 阅读(6608) 评论(0) 推荐(0) 编辑
摘要: 在组内做了一次关于微信小程序的分享。整理如下: 阅读全文
posted @ 2016-12-12 14:00 大球和二憨 阅读(1915) 评论(2) 推荐(1) 编辑