2015年8月2日

摘要: 今天Python2.7下安装numpy的时候遇到了此错误,进过查阅发现以下方法可行在Python27\Lib\distutils\msvc9compiler.py 文件中,找到mfinfo = self.manifest_get_embed_info(target_desc, ld_args)行将其... 阅读全文
posted @ 2015-08-02 14:07 Tyoyi 阅读(6314) 评论(0) 推荐(0) 编辑

2015年7月31日

摘要: BackTest框架库:PyAlgoTradeZipLine金融数据分析库:pandas 阅读全文
posted @ 2015-07-31 10:09 Tyoyi 阅读(1010) 评论(0) 推荐(0) 编辑

2015年7月29日

摘要: 出现这种情况,是需要引用vc的编译器,可以安装vs来解决,并且安装numpy前,设置如下宏SET VS100COMNTOOLS=%VS110COMNTOOLS%SET VS90COMNTOOLS=%VS110COMNTOOLS%再执行即可 阅读全文
posted @ 2015-07-29 17:45 Tyoyi 阅读(164) 评论(0) 推荐(0) 编辑
摘要: 安装了python以后,并且环境变量里引入了python安装路径后,想使用pip来安装未安装的模块,但是命令模式里不能执行pip,查看python安装路径,发现pip跟easy_install的执行文件在script文件夹里,所以将script放入path里即可执行pip 阅读全文
posted @ 2015-07-29 17:07 Tyoyi 阅读(221) 评论(0) 推荐(0) 编辑

2015年7月10日

摘要: 1. vs2012的编译器对execution_character_set("utf-8")无反应的bug在vs2013中解决2. 安装上vs2013后,重装的qt插件,发现不能编译的错误,原因是QT版本跟vs2013没有对应造成3. QT有些moc*代码不能生成,后来发现时由于复制代码,造成的编码... 阅读全文
posted @ 2015-07-10 18:19 Tyoyi 阅读(150) 评论(0) 推荐(0) 编辑

2015年6月15日

摘要: 使用ssh进行无密访问,并发送执行命令的时候遇到了如题的错误执行命令ssh user@host "sudo rm /data/test,txt"sudo: sorry, you must have a tty to run sudo查看资料发现That's probably because your... 阅读全文
posted @ 2015-06-15 17:12 Tyoyi 阅读(547) 评论(0) 推荐(0) 编辑

2015年5月29日

摘要: 在将mysql数据导入到hbase数据的过程中,发现hbase的数据容量增加很快,原本在mysql存储30G容量的数据导入到hbase一直增加到快150G(还未完全导入,手动结束),而采用默认3个备份储存的话,基本上真个集群有450G的容量。查看了一些资料,发现hbase的储存确实耗空间,一般hba... 阅读全文
posted @ 2015-05-29 16:31 Tyoyi 阅读(6578) 评论(0) 推荐(0) 编辑

2015年5月20日

摘要: 最近需要将mysql的数据整合到HBase中,原本使用MapReduce,自己制作job将mysql的数据导入,查阅资料过程中,发现了开源工具sqoop(关系性数据库与HDFS,HBASE,HIVE等)互相导入的工具,于是准备尝试使用,看是否能够满足目前数据转移的需求。sqoop import --... 阅读全文
posted @ 2015-05-20 18:11 Tyoyi 阅读(650) 评论(0) 推荐(0) 编辑

2015年5月16日

摘要: 实现远程访问HBase,可以通过Eclipse开发工具方便进行代码调试。为了方便jar包各种版本的管理,才用maven进行代码构建首先,下载并安装maven以及M2Eclipse插件其次,配置maven的pom.xml文件,加入如下依赖 org.apache.hbase hbase-cl... 阅读全文
posted @ 2015-05-16 10:39 Tyoyi 阅读(791) 评论(0) 推荐(0) 编辑

2015年5月14日

摘要: 由于逐渐面临高频数据的问题,所以计划正式启用hadoop分布式计算,去年10月份研究过一段时间hadoop的部署情况,确定使用CDH版本的hadoop(最新5.4.0),主要是考虑维度是减少运维难度以及快速部署上线(当然如果想更好的学习hadoop,还是建议从hadoop原生态版本部署入手)。好脑子... 阅读全文
posted @ 2015-05-14 16:27 Tyoyi 阅读(1002) 评论(0) 推荐(0) 编辑

导航