01 2018 档案
摘要:GBDT(MART) 迭代决策树入门教程 | 简介 在网上看到一篇对从代码层面理解gbdt比较好的文章,转载记录一下: GBDT(Gradient Boosting Decision Tree) 又 叫 MART(Multiple Additive Regression Tree),是一种迭代的决策
阅读全文
摘要:Normalization Normalization local_response_normalization local_response_normalization出现在论文”ImageNet Classification with deep Convolutional Neural Netw
阅读全文
摘要:交叉熵代价函数 machine learning算法中用得很多的交叉熵代价函数。 1.从方差代价函数说起 代价函数经常用方差代价函数(即采用均方误差MSE),比如对于一个神经元(单输入单输出,sigmoid函数),定义其代价函数为: 其中y是我们期望的输出,a为神经元的实际输出【 a=σ(z), w
阅读全文
摘要:补充在前:实际上在我使用LSTM为流量基线建模时候,发现有效的激活函数是elu、relu、linear、prelu、leaky_relu、softplus,对应的梯度算法是adam、mom、rmsprop、sgd,效果最好的组合是:prelu+rmsprop。我的代码如下: 梯度下降算法是机器学习中
阅读全文
摘要:成功后: python import tflearn 没有任何错误
阅读全文
摘要:In tensorflow get started code: import tensorflow as tf import numpy as np features = [tf.contrib.layers.real_valued_column("x", dimension=1)] estimat
阅读全文
摘要:mongodb 3.2配置内存缓存大小为MB/MongoDB 3.x内存限制配置 转载自勤奋的小青蛙 mongodb占用内存非常高,这是因为官方为了提升存储的效率,设计就这么设计的。 但是大部分的个人开发者所购买的服务器内存并没有那么大,所以,我们需要配置下MongoDB的内存缓存大小,不然mong
阅读全文
摘要:刚开始使用mongodb的时候,不太注意mongodb的内存使用,但通过查资料发现mongodb对内存的占用是巨大的,在本地测试服务器中,8G的内存居然被占用了45%。汗呀。 本文就来剖析一下mongodb对内存的具体使用方法,以及生产环境针对mongodb占大量内存的问题的解决。 先看一个Mong
阅读全文
摘要:见:http://www.freebuf.com/articles/web/161010.html 本质上是在开放wifi热点,自己搭建挖掘的网页,让接入的人访问该网页。 802.11无线协议本身特点,使得可以嗅探其中的http明文数据,知道大概是在访问何站点。 见:http://www.cnblo
阅读全文
摘要:ElasticSearch源码解析(五):排序(评分公式) 转载自:http://blog.csdn.net/molong1208/article/details/50623948 一、目的 一个搜索引擎使用的时候必定需要排序这个模块,一般情况下在不选择按照某一字段排序的情况下,都是按照打分的高低进
阅读全文
摘要:elasticsearch 分页查询实现方案 1. from+size 实现分页 from表示从第几行开始,size表示查询多少条文档。from默认为0,size默认为10,注意:size的大小不能超过index.max_result_window这个参数的设置,默认为10,000。如果搜索size
阅读全文
摘要:针对深度学习(神经网络)的AI框架调研 在我们的AI安全引擎中未来会使用深度学习(神经网络),后续将引入AI芯片,因此重点看了下业界AI芯片厂商和对应芯片的AI框架,包括Intel(MKL CPU)、谷歌(TPU)、NVidia(GPU)、华为和寒武纪,发现所有的AI芯片都支持TensorFlow框
阅读全文
摘要:比如a.friendskaka.com 是我的外发子域名,那么可以按照下面两个命令来追踪IP: bonelee@bonelee-VirtualBox:~/桌面$ dig auth.a.friendskaka.com @8.8.8.8 +trace; <<>> DiG 9.10.3-P4-Ubuntu
阅读全文
学界| UC Berkeley提出新型分布式框架Ray:实时动态学习的开端—— AI 应用的系统需求:支持(a)异质、并行计算,(b)动态任务图,(c)高吞吐量和低延迟的调度,以及(d)透明的容错性。
摘要:学界| UC Berkeley提出新型分布式框架Ray:实时动态学习的开端 from:https://baijia.baidu.com/s?id=1587367874517247282&wfr=pc&fr=_lst 为应对新型 AI 应用不断提高的性能需求,近日 Michael Jordan 等人提
阅读全文
摘要:Amazon公司的Werner Vogels于上周宣布Amazon深度学习框架将会正式选用MXNet,并且AWS将会通过增加源代码贡献、改进文档以及支持来自其它框架的可视化、开发以及迁移工具,为实现MXNet成功的长远目标做出贡献。 Vogles指出在欺诈检测、推荐流水线、库存和产品检查审计等领域,
阅读全文
摘要:详解Google第二代TPU 既能推理又能训练 性能霸道 转自:http://www.cnbeta.com/articles/tech/613639.htm 5月18日凌晨,Google CEO Sundar Pichai在I/O大会上正式公布了第二代TPU,又称Cloud TPU或TPU 2.0,
阅读全文
摘要:TensorFlow如何充分使用所有CPU核数,提高TensorFlow的CPU使用率,以及Intel的MKL加速 转载 2017年09月07日 16:34:58 标签: cpu / gpu 转载 2017年09月07日 16:34:58 标签: cpu / gpu 转载链接:http://noov
阅读全文
摘要:现代英特尔® 架构上的 TensorFlow* 优化 转自:https://software.intel.com/zh-cn/articles/tensorflow-optimizations-on-modern-intel-architecture 英特尔:Elmoustapha Ould-Ahm
阅读全文
摘要:Spark新愿景:让深度学习变得更加易于使用 转自:https://www.jianshu.com/p/07e8200b7cea 转自:https://www.jianshu.com/p/07e8200b7cea 转自:https://www.jianshu.com/p/07e8200b7cea 前
阅读全文
摘要:前言 深度学习在图像处理、语音识别、自然语言处理领域的应用取得了巨大成功,但是它通常在功能强大的服务器端进行运算。如果智能手机通过网络远程连接服务器,也可以利用深度学习技术,但这样可能会很慢,而且只有在设备处于良好的网络连接环境下才行,这就需要把深度学习模型迁移到智能终端。 由于智能终端CPU和内存
阅读全文
摘要:Google TPU 揭密 转自:https://mp.weixin.qq.com/s/Kf_L4u7JRxJ8kF3Pi8M5iw Google TPU(Tensor Processing Unit)问世之后,大家一直在猜测它的架构和性能。Google的论文“In-Datacenter Perfo
阅读全文
摘要:寒武纪芯片 产品中心>智能处理器IP 寒武纪芯片 产品中心>智能处理器IP 智能处理器IP MLU智能芯片 软件开发环境 智能处理器IP MLU智能芯片 软件开发环境 Cambricon-1A 高性能硬件架构及软件支持兼容Caffe、Tensorflow、MXnet等主流AI开发平台,已多次成功流片
阅读全文
摘要:深度学习框架竞争很激烈,而且看上去都是业界巨头在玩。 老师木:是的。一个深度学习框架一旦像Hadoop那样成为事实工业标准,就占据了人工智能各种关键应用的入口,对各类垂直应用,基于私有部署的技术服务,公有云上的AI 即服务业务,甚至底层专用硬件市场都有举足轻重的影响。它的角色就像互联网时代的浏览器,
阅读全文
摘要:官网:https://developer.nvidia.com/tensorrt 作用:NVIDIA TensorRT™ is a high-performance deep learning inference optimizer and runtime that delivers low lat
阅读全文
摘要:from:https://36kr.com/p/5103044.html 到2020年,大多数先进的ML袖珍电脑(你仍称之为手机)将有能力执行一整套任务。个人助理将变的更加智能,它是打造这种功能的切入点。语音识别会不断优化。私人助理将不仅仅是云端搜索引擎的前端。因为个人AI将有拥有真正处理分析数据的
阅读全文
摘要:先验知识:1、运行时,动态库的装载依赖于ld-linux.so.6的实现,它查找共享库的顺序如下:(1)ld-linux.so.6在可执行的目标文件中被指定,可用readelf命令查看(2)ld-linux.so.6缺省在/usr/lib和lib中搜索;当glibc安装到/usr/local下时,它
阅读全文
摘要:准备工作:gcc升级为4.8.2glibc升级为2.18/opt/xxx/xxx/components/ficlient/bigdata_env 里加入:export LD_LIBRARY_PATH=/usr/local/lib:/usr/local/lib64:$LD_LIBRARY_PATH 因
阅读全文
摘要:suse的安装参考:http://blog.csdn.net/cloudskyfhx/article/details/17660607 有些错误处理见本文黄色部分 CentOS 6.4 编译安装 gcc 4.8.1 转自:https://www.cnblogs.com/codemood/archiv
阅读全文
摘要:http://www.cnblogs.com/bonelee/p/7651746.html DNS隧道和工具 内含dns2tcp、iodine、dnscat2工具的简单使用说明 iodine工具的使用汇总:http://www.cnblogs.com/bonelee/p/8059464.htmlht
阅读全文
摘要:利用Powershell和ceye.io实现Windows账户密码回传 转自:http://www.freebuf.com/articles/system/129068.html 利用Powershell和ceye.io实现Windows账户密码回传 转自:http://www.freebuf.co
阅读全文
摘要:AlexNet将LeNet的思想发扬光大,把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。 (1)成功使用ReLU作为CNN的激活函数,并验证其效果在较深的网络超过了Sigmoid,成功解决了Sigmoid在网络较深时的梯度弥散问题。虽然ReLU激活函数在很久之前
阅读全文
摘要:示例: #!/usr/bin/env python #encoding: utf-8 import binascii fh = open(r'C:\Temp\img\2012517165556.png', 'rb') a = fh.read() #print 'raw: ',`a`,type(a)
阅读全文
摘要:摘自:https://hk.saowen.com/a/a06909f1c57cb8452db969b3deede4151de42a7d69f4bb52c5bf027033fb91bd Powershell dns實驗驗證: 1、 利用powershell構造dns隧道 a) 編寫一個最簡單的一句話腳
阅读全文
摘要:Powershell 渗透测试工具-Nishang 分享到: Powershell 渗透测试工具-Nishang 分享到: 分享到: 分享到: 分享到: 分享到: 作者:V1ct0r 稿费:500RMB(不服你也来投稿啊!) 投稿方式:发送邮件至linwei#360.cn,或登陆网页版在线投稿 传送
阅读全文
摘要:PowerShell攻防进阶篇:nishang工具用法详解 嘶吼RoarTalk 网络安全观察者 导语:nishang,PowerShell下并肩Empire,Powersploit的神器。 开始之前,先放出个下载地址! 下载地址:samratashok/nishang 1.简介 Nishang是一
阅读全文
摘要:参考下文: Yast源搭建(更新) 1)挂载ISO镜像 新建一个目录:mkdir /mnt/iso 将iso文件挂载到该目录上: mount -o loop /path/to/SLES-11-SP1-DVD-x86_64-GM-DVD1.iso /mnt/iso 2)增加zypper安装源 zypp
阅读全文
摘要:1 什么是激活函数? 激活函数,并不是去激活什么,而是指如何把“激活的神经元的特征”通过函数把特征保留并映射出来(保留特征,去除一些数据中是的冗余),这是神经网络能解决非线性问题关键。 目前知道的激活函数有如下几个:sigmoid,tanh,ReLu,softmax。 simoid函数也称S曲线:f
阅读全文
摘要:局部连接与权值共享 下图是一个很经典的图示,左边是全连接,右边是局部连接。 对于一个1000 × 1000的输入图像而言,如果下一个隐藏层的神经元数目为10^6个,采用全连接则有1000 × 1000 × 10^6 = 10^12个权值参数,如此数目巨大的参数几乎难以训练;而采用局部连接,隐藏层的每
阅读全文
摘要:AdaBoostClassifier实战 部分内容摘自:http://blog.csdn.net/sun_shengyun/article/details/54289955 这里我们用一个具体的例子来讲解AdaBoostClassifier的使用。 Methods 首先我们载入需要的类库: 接着我们
阅读全文
摘要:监控fielddata使用了多少内存以及是否有数据被驱逐是非常重要的。大量的数据被驱逐会导致严重的资源问题以及不好的性能。 Fielddata使用可以通过下面的方式来监控: 对于单个索引使用 {ref}indices-stats.html[indices-stats API]: 对于单个节点使用 {
阅读全文
摘要:SRV记录 SRV记录 什么情况下会用到SRV记录? [SRV记录用来标识某台服务器使用了某个服务,常见于微软系统的目录管理] SRV记录的添加方式 A.主机记录处格式为:服务的名字.协议的类型 例如:_sip._tcp B.记录类型为SRV。 C.线路类型(默认为必填项,否则会导致部分用户无法解析
阅读全文
摘要:您输入的域名不符合域名注册规则,请重新输入 提示:域名可由英文字母(a-z,不区分大小写)、数字(0-9)、中文汉字以及连字符"-"(即中横线)构成,不能使用空格及特殊字符(如!、$、&、?等)。“-” 不能单独注册或连续使用,不能放在开头或结尾。 其实这里有个RFC 952规范 - 美国国防部互联
阅读全文
摘要:ElasticSearch优化系列四:ES的heap是如何被瓜分掉的 转自:https://www.jianshu.com/p/f41b706db6c7 转自:https://www.jianshu.com/p/f41b706db6c7 转自:https://www.jianshu.com/p/f4
阅读全文
摘要:自组织映射神经网络本质上是一个两层的神经网络,包含输入层和输出层(竞争层)。输入层模拟感知外界输入信息的视网膜,输出层模拟做出响应的大脑皮层。输出层中神经元的个数通常是聚类的个数,代表每一个需要聚成的类。训练时采用“竞争学习”的方式,每个输入的样例在输出层中找到一个和它最匹配的节点,称为激活节点,也
阅读全文
摘要:RBF网络能够逼近任意的非线性函数,可以处理系统内的难以解析的规律性,具有良好的泛化能力,并有很快的学习收敛速度,已成功应用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。 输入X是个m维的向量,样本容量为P,P>m。可以看到输入数据点Xp是径向基
阅读全文
摘要:查找python项目依赖并生成requirements.txt 转自:http://blog.csdn.net/orangleliu/article/details/60958525 一起开发项目的时候总是要搭建环境和部署环境的,这个时候必须得有个python第三方包的list,一般都叫做requi
阅读全文