05 2018 档案
摘要:BAT机器学习面试1000题系列 from:https://blog.csdn.net/v_JULY_v/article/details/78121924 BAT机器学习面试1000题系列 1 请简要介绍下SVM,机器学习 ML模型 易SVM,全称是support vector machine,中文
阅读全文
摘要:tsne 数据不做预处理: 数据做standard标准化处理 使用pca,不进行预处理: 使用standard scaler预处理,再做pca: 最后效果: 最后使用自编码器来来降维: 代码: 如果是迭代次数不一样,则可能有一些差别,见下图,和上面的可能有些差别: 修改64为128:
阅读全文
python 3以上版本使用pickle.load读取文件报UnicodeDecodeError: 'ascii' codec can't decode byte 0x8b in position 6
摘要:只需要在打开的时候指定编码 只需要在打开的时候指定编码 fo = open(file, 'rb') dict = pickle.load(fo,encoding='iso-8859-1')
阅读全文
摘要:You are given a license key represented as a string S which consists only alphanumeric character and dashes. The string is separated into N+1 groups b
阅读全文
摘要:Given an array of integers nums, write a method that returns the "pivot" index of this array. We define the pivot index as the index where the sum of
阅读全文
摘要:输出示例: neigh.kneighbors(white_verify)(array([[ 0.01140831], [ 0.0067373 ], [ 0.00198682], [ 0.00686728], [ 0.00210445], [ 0.00061413], [ 0.00453888]]),
阅读全文
摘要:You are a professional robber planning to rob houses along a street. Each house has a certain amount of money stashed, the only constraint stopping yo
阅读全文
摘要:Given a sorted array and a target value, return the index if the target is found. If not, return the index where it would be if it were inserted in or
阅读全文
摘要:Given a binary search tree (BST), find the lowest common ancestor (LCA) of two given nodes in the BST. According to the definition of LCA on Wikipedia
阅读全文
摘要:Given a non-empty array of digits representing a non-negative integer, plus one to the integer. The digits are stored such that the most significant d
阅读全文
摘要:手写汉字笔迹识别模型: 第一名用的是googleNet,准确率97.3% def GoogleLeNetSlim(x, num_classes, keep_prob=0.5): with tf.variable_scope('main'): t = slim.conv2d(x, 64, [3, 3], [1, 1], padding='SAME', activation_...
阅读全文
摘要:www.arocmag.com/getarticle/?aid=4e02d91c19b0cced Internet 蠕虫防范技术研究http://www.arocmag.com/article/1001-3695(2010)03-1032-03.html 基于统计分析建立流量动态临界线的蠕虫检测机制
阅读全文
摘要:Write a program to check whether a given number is an ugly number. Ugly numbers are positive numbers whose prime factors only include 2, 3, 5. Example
阅读全文
摘要:The set S originally contains numbers from 1 to n. But unfortunately, due to the data error, one of the numbers in the set got duplicated to another n
阅读全文
摘要:Having said that, you can query sklearn.preprocessing.StandardScaler for the fit parameters: scale_ : ndarray, shape (n_features,) Per feature relativ
阅读全文
摘要:实验结果: MLP 隐藏层神经元个数 128 test confusion_matrix (SMOTE): 测试数据的混淆矩阵[[131946 120] [ 299 131767]] precision recall f1-score support 0 1.00 1.00 1.00 132066
阅读全文
摘要:多层感知机(MLP)原理简介 多层感知机(MLP,Multilayer Perceptron)也叫人工神经网络(ANN,Artificial Neural Network),除了输入输出层,它中间可以有多个隐层,最简单的MLP只含一个隐层,即三层的结构,如下图: 从上图可以看到,多层感知机层与层之间
阅读全文
摘要:文章开始先讲下交叉验证,这个概念同样适用于这个划分函数 1.交叉验证(Cross-validation) 交叉验证是指在给定的建模样本中,拿出其中的大部分样本进行模型训练,生成模型,留小部分样本用刚建立的模型进行预测,并求这小部分样本的预测误差,记录它们的平方加和。这个过程一直进行,直到所有的样本都
阅读全文
摘要:总结:不平衡数据的分类,(1)数据层面:使用过采样是主流,过采样通常使用smote,或者少数使用数据复制。过采样后模型选择RF、xgboost、神经网络能够取得非常不错的效果。(2)模型层面:使用模型集成,样本不做处理,将各个模型进行特征选择、参数调优后进行集成,通常也能够取得不错的结果。(3)其他
阅读全文
摘要:from:https://zhuanlan.zhihu.com/p/30461746 本项目需解决的问题 本项目通过利用信用卡的历史交易数据,进行机器学习,构建信用卡反欺诈预测模型,提前发现客户信用卡被盗刷的事件。 建模思路 项目背景 以上取自Kaggle官网对本数据集部分介绍(谷歌翻译),关于数据
阅读全文
摘要:先看数据: 特征如下: Time Number of seconds elapsed between each transaction (over two days) numeric V1 No description provided numeric V2 No description provi
阅读全文
摘要:You are given a binary tree in which each node contains an integer value. Find the number of paths that sum to a given value. The path does not need t
阅读全文
摘要:Out: n_digits: 10, n_samples 1797, n_features 64 __________________________________________________________________________________ init time inertia
阅读全文
摘要:def get_model(input_dim=33): # Build neural network net = tflearn.input_data(shape=[None, input_dim]) net = batch_normalization(net) #net = tflearn.fu
阅读全文
摘要:How to handle Imbalanced Classification Problems in machine learning? from:https://www.analyticsvidhya.com/blog/2017/03/imbalanced-classification-prob
阅读全文
摘要:Using SMOTEBoost and RUSBoost to deal with class imbalance from:https://aitopics.org/doc/news:1B9F7A99/ Binary classification with strong class imbala
阅读全文
摘要:from sklearn.ensemble import RandomForestClassifier import matplotlib.pyplot as plt selected_feat_names=set() for i in range(10): #这里我们进行十次循环取交集 tmp =
阅读全文
摘要:MLP 64,2 preprocessing.MinMaxScaler().fit(X) test confusion_matrix:[[129293 2734] [ 958 23375]] precision recall f1-score support 0 0.99 0.98 0.99 132
阅读全文
摘要:demo代码: extend data 表示待预测的数据 关于mic:
阅读全文
摘要:2015年02月04日 15:56:32 阅读数:1464 2015年02月04日 15:56:32 阅读数:1464 阅读数:1464 TCP 和 UDP 都使用相同的网络层 IP,但是与 UDP 不同的是,TCP 是面向连接的、可靠的字节流协议。因此,在传输数据之前通信双方必须建立一个 TCP
阅读全文
摘要:X, y = get_feature_charseq() #max_document_length=64 volcab_file = "volcab.pkl" assert os.path.exists(volcab_file) pkl_file = open(volcab_file, 'rb') ...
阅读全文
摘要:Given two non-empty binary trees s and t, check whether tree t has exactly the same structure and node values with a subtree of s. A subtree of s is a
阅读全文
摘要:英特尔® Software Guard Extensions 教程系列:第一部分,英特尔® SGX 基础 from:https://software.intel.com/zh-cn/articles/intel-software-guard-extensions-tutorial-part-1-fo
阅读全文
摘要:英特尔® Software Guard Extensions 教程系列:第一部分,英特尔® SGX 基础 from:https://software.intel.com/zh-cn/articles/intel-software-guard-extensions-tutorial-part-1-fo
阅读全文
摘要:一、TEE(Trusted Execution Environment) 一、TEE(Trusted Execution Environment) 1 A look back 1)2009 OMTP(Open Mobile Terminal Platform),首次定义了TEE:“一组软硬件组件,可
阅读全文
摘要:我是看 https://zhuanlan.zhihu.com/p/26441212 这个文章知道trustzone自身会存储秘钥,这个秘钥可以来自用户指纹,也可以来自云端下发的key。 Truztzone和已有trust computing比如TPM技术的区别。 trustzone并没有打算取代TP
阅读全文
摘要:There are 1000 buckets, one and only one of them contains poison, the rest are filled with water. They all look the same. If a pig drinks that poison
阅读全文
摘要:查 101.201.62.30 IP信誉方法https://www.virustotal.com/#/ip-address/101.201.62.30https://talosintelligence.com/reputation_center/lookup?search=101.201.62.30
阅读全文
摘要:1. 调用 scipy 计算排列组合的具体数值 A23=6,(32)=3 2. 调用 itertools 获取排列组合的全部情况数
阅读全文
摘要:结论: (1)使用同一个目的port的p2p协议传输的tcp流特征相似度高达99%。如果他们是cc通信,那么应该都算在一起,反之就都不是cc通信流。 (2)使用不同目的端口的p2p协议传输的tcp流相似度不太一样,相似度从0.4-0.99之间。 数据: 使用余弦相似度进行FileShare_P2P数
阅读全文
摘要:bozokgh0stnanocoredarkcometponydarkcometadwindadzokaecomblacknixbluebananacorigaratdarkcometDRAThuigeziminirat1nanonetwirepandoraspygateX-RATxstreamQu
阅读全文
摘要:找相似的pcap文件:https://packettotal.com/app/analysis?id=aff96903aae4b73364e027c8a3e85060&name=similar_pcaps
阅读全文
摘要:densenet 中文汉字手写识别,代码如下: densenet模型参考:https://github.com/taki0112/Densenet-Tensorflow 效果: Eval a batch the step 34001.0 test accuracy: 0.765625 Eval a
阅读全文
摘要:Use trained sklearn model with pyspark from pyspark import SparkContext import numpy as np from sklearn import ensemble def batch(xs): yield list(xs)
阅读全文
摘要:from:https://blog.csdn.net/u013989576/article/details/73439202 问题引入: 目前,常见的目标检测算法,如Faster R-CNN,存在着速度慢的缺点。该论文提出的SSD方法,不仅提高了速度,而且提高了准确度。 SSD: 该论文的核心思想:
阅读全文
摘要:capsule network--《Dynamic Routing Between Capsules》 from:https://zhuanlan.zhihu.com/p/31491520 from:https://zhuanlan.zhihu.com/p/31491520 Hinton大神前一段时
阅读全文
摘要:2017年04月21日 14:54:10 阅读数:4369 2017年04月21日 14:54:10 阅读数:4369 阅读数:4369 前言 在这里,先介绍几个概念,也是图像处理当中的最常见任务. 语义分割(semantic segmentation) 目标检测(object detection)
阅读全文
摘要:2017年02月23日 19:28:25 阅读数:6094 2017年02月23日 19:28:25 阅读数:6094 阅读数:6094 首先声明,文末彩蛋,不是笔者提问的 1 一句话总结 作者认为现有模型由于没有引入足够的上下文信息及不同感受野下的全局信息而存在分割出现错误的情景,于是,提出了使用
阅读全文
摘要:from:https://blog.csdn.net/xjz18298268521/article/details/79079008 NASNet总结 论文:《Learning Transferable Architectures for Scalable Image Recognition》 注
阅读全文
摘要:from:https://blog.csdn.net/xuanwu_yan/article/details/53455260 背景 论文地址:Aggregated Residual Transformations for Deep Neural Networks 代码地址:GitHub 这篇文章在
阅读全文
摘要:如何评价Dual Path Networks(DPN)? 论文链接:https://arxiv.org/pdf/1707.01629v1.pdf在ImagNet-1k数据集上,浅DPN超过了最好的ResNeXt-101(64×4d),具有26%更小的模型尺寸,25%的计算成本和8%的更低的内存消耗
阅读全文
摘要:Momenta详解ImageNet 2017夺冠架构SENet 转自机器之心专栏 作者:胡杰 本届 CVPR 2017大会上出现了很多值得关注的精彩论文,国内自动驾驶创业公司 Momenta 联合机器之心推出 CVPR 2017 精彩论文解读专栏。除此之外,Momenta 还受邀在 CVPR 201
阅读全文
摘要:总结近期CNN模型的发展(一) from:https://zhuanlan.zhihu.com/p/30746099 余俊 计算机视觉及深度学习 from:https://zhuanlan.zhihu.com/p/30746099 余俊 计算机视觉及深度学习 from:https://zhuanla
阅读全文
摘要:2017年09月28日 11:58:49 阅读数:1814 2017年09月28日 11:58:49 阅读数:1814 阅读数:1814 [ 转载自http://www.yyliu.cn/post/7cabb4ff.html ] CVPR 2017上,清华大学的Zhuang Liu、康奈尔大学的Ga
阅读全文
摘要:基于深度学习的安卓恶意应用检测 from:http://www.xml-data.org/JSJYY/2017-6-1650.htm 苏志达, 祝跃飞, 刘龙 摘要: 针对传统安卓恶意程序检测技术检测准确率低,对采用了重打包和代码混淆等技术的安卓恶意程序无法成功识别等问题,设计并实现了DeepDro
阅读全文
摘要:题目: 有一栋楼共100层,一个鸡蛋从第N层及以上的楼层落下来会摔破, 在第N层以下的楼层落下不会摔破。给你2个鸡蛋,设计方案找出N,并且保证在最坏情况下, 最小化鸡蛋下落的次数。(假设每次摔落时,如果没有摔碎,则不会给鸡蛋带来损耗) 形形色色的解答: 在参考下面的解答之前,请你先仔细思考10分钟。
阅读全文
摘要:面试题:8个试剂,其中一个有毒,最少多少只小白鼠能检测出有毒试剂 方法1: 用3只小鼠,能组合成8种状态。 第一只喂食【1、3、5、7】四只试剂 第二只喂食【2、3、6、7】四只试剂 第三只喂食【4、5、6、7】四只试剂 方法2: 二分法,每次把试剂分成两堆,然后用两只小鼠测试,如果一只死掉了,那么
阅读全文
摘要:使用Tensorflow和VGG16预训模型进行预测 from:https://zhuanlan.zhihu.com/p/28997549 from:https://zhuanlan.zhihu.com/p/28997549 fast.ai的入门教程中使用了kaggle: dogs vs cats作
阅读全文
摘要:关键代码:tflearn.DNN(net, checkpoint_path='model_resnet_cifar10', max_checkpoints=10, tensorboard_verbose=0, clip_gradients=0.) snapshot_epoch=True, # Snaps...
阅读全文
摘要:from:https://www.cnblogs.com/bigmonkey/p/7387943.html 加权kNN 上篇文章中提到为每个点的距离增加一个权重,使得距离近的点可以得到更大的权重,在此描述如何加权。 反函数 该方法最简单的形式是返回距离的倒数,比如距离d,权重1/d。有时候,完全一样
阅读全文
摘要:示例数据: 代码:最大值与最小值之差:ptp()
阅读全文
摘要:思科DNA竞品比较工具 思科DNA竞品比较工具 思科DNA竞品比较工具 您的网络能够驱动数字化转型吗? 根据IDC调查,45%的受调研公司计划在未来两年内做好网络数字化的准备。查看数字化网络带来的结果和商业价值。 下载报告 您的网络能够驱动数字化转型吗? 根据IDC调查,45%的受调研公司计划在未来
阅读全文
摘要:from:https://www.riverbed.com/sg/digital-performance/index.htmlMaximise Your Digital PerformanceConnecting people, businesses, and experiences in the
阅读全文
摘要:# Multi-class (Nonlinear) SVM Example # # This function wll illustrate how to # implement the gaussian kernel with # multiple classes on the iris dataset. # # Gaussian Kernel: # K(x1, x2) = exp(-ga...
阅读全文
摘要:iris二分类 下面例子数据集可能更好看; 高斯核函数的应用,其实也可以自定义很多核函数:
阅读全文
摘要:实现的是预测 低 出生 体重 的 概率。尼克·麦克卢尔(Nick McClure). TensorFlow机器学习实战指南 (智能系统与技术丛书) (Kindle 位置 1060-1061). Kindle 版本.
阅读全文
摘要:线性回归的一般形式 过拟合问题及其解决方法 问题:以下面一张图片展示过拟合问题 解决方法:(1):丢弃一些对我们最终预测结果影响不大的特征,具体哪些特征需要丢弃可以通过PCA算法来实现;(2):使用正则化技术,保留所有特征,但是减少特征前面的参数θ的大小,具体就是修改线性回归中的损失函数形式即可,岭
阅读全文
摘要:from:https://www.cnblogs.com/shibalang/p/4859645.html 多元线性回归是最简单的机器学习模型,通过给定的训练数据集,拟合出一个线性模型,进而对新数据做出预测。 对应的模型如下: n: 特征数量。 一般选取残差平方和最小化作为损失函数,对应为: M:训
阅读全文
摘要:【TensorFlow】tf.nn.softmax_cross_entropy_with_logits的用法 from:https://blog.csdn.net/mao_xiao_feng/article/details/53382790 from:https://blog.csdn.net/ma
阅读全文
摘要:tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None,labels=None, logits=None, name=None) sigmoid_cross_entropy_with_logits详解 这个函数的输入是logits和targets
阅读全文
摘要:# Combining Everything Together #---------------------------------- # This file will perform binary classification on the # iris dataset. We will only predict if a flower is # I.setosa or not. # # ...
阅读全文
摘要:# Activation Functions #---------------------------------- # # This function introduces activation # functions in TensorFlow # Implementing Activation Functions import matplotlib.pyplot as plt imp...
阅读全文
摘要:知乎上的回答:https://www.zhihu.com/question/59201590 过拟合即在训练误差很小,而泛化误差很大,因为模型可能过于的复杂,使其”记住”了训练样本,然而其泛化误差却很高,在传统的机器学习方法中有很大防止过拟合的方法,同样这些方法很多也适合用于深度学习中,同时深度学习
阅读全文
摘要:科来 做流量分析,同时也做了一些安全分析(偏APT)——参考其官网:http://www.colasoft.com.cn/cases-and-application/network-security-analysis.php 安全防御的能力取决于安全感知能力 随着互联网的飞速发展,IT基础架构、移动
阅读全文
摘要:# -*- coding: utf-8 -*- import tensorflow as tf import os import random import tensorflow.contrib.slim as slim import time import numpy as np import pickle from PIL import Image mode = "inference...
阅读全文
摘要:slim.flatten(inputs,outputs_collections=None,scope=None) (注:import tensorflow.contrib.slim as slim) 将输入扁平化但保留batch_size,假设第一维是batch。 Args: inputs: a t
阅读全文
摘要:上述模型效果: Training samples: 19094Validation samples: 4774--Training Step: 597 | total loss: 3.60744 | time: 110.471s| RMSProp | epoch: 001 | loss: 3.607
阅读全文
摘要:from:https://blog.csdn.net/qq_14845119/article/details/73648100 Inception v1的网络,主要提出了Inceptionmodule结构(1*1,3*3,5*5的conv和3*3的pooling组合在一起),最大的亮点就是从NIN(
阅读全文
摘要:from:https://blog.csdn.net/diamonjoy_zone/article/details/70904212 环境:Win8.1 TensorFlow1.0.1 软件:Anaconda3 (集成Python3及开发环境) TensorFlow安装:pip install te
阅读全文
摘要:tflearn 数据集太大无法加载进内存问题? Hi, all! I'm trying to train deep net on a big dataset that doesn't fit into memory. Is there any way to use generators to rea
阅读全文
摘要:numpy.argmax numpy.argmax(a, axis=None, out=None)[source] Returns the indices of the maximum values along an axis. Parameters: a : array_like Input ar
阅读全文