张 永 一个梦想自由的程序员

——————————————— 让科技和智能使人更便捷 ———————————————
  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2017 让机器给我们干活

Posted on 2017-09-16 09:31  hylas  阅读(436)  评论(0编辑  收藏  举报

     这个随笔, 也就是随笔, 写到哪, 算哪。 

今天要处理一批数据  2015年, 2016年的股票数据, 总共有150万个文件,文件需要做加工处理。 

从记录数上 15亿条 上应该有的, 比我以前服务的公司生产的数据还要略大。 

现在是 9:00 , 开启程序, 预计要处理 24 小时。  晚上来收,也许要到明天了。  


昨天用深度神经网络训练一个模型, 训练100轮, 每轮 240秒左右, 共 400分钟, 7 个小时左右, 昨天下午
开始训练, 昨天晚上看到结果。  这种训练 GPU比 CPU效率更高。 



 

工业时代,  机器呼呼呼生产产品
信息时代,  计算器呼呼呼生产信息产品    数据做为基础原料,生成 有用的业务信息。 

我自购的 近万的台式电脑, I5   +32G  + 1060显卡(6G显存)    , 对于企业来说简直是9牛1毛。
对于我来说 这个机器能做很多事。  是我的生产工具,得力助手。    硬件越来越便宜, 能够指挥
机器集群做事的人 越来越重要,  也会越来越便宜,  或许 他们都会成为新一代的  蓝领  。 

我想表达什么呢? 
1.  有了机器的协助, 个体可以处理亿级的 数据。  
2.  人的脑袋 是指挥 集群海量机器的宝贵财富。