摘要:
做应用识别这一块经常要对应用产生的数据流量进行分析。抓包采用wireshark,提取特征时,要对session进行过滤,找到关键的stream,这里总结了wireshark过滤的基本语法,供自己以后参考。(脑子记不住东西)wireshark进行过滤时,按照过滤的语法可分为协议过滤和内容过滤。对标准协... 阅读全文
摘要:
Hadoop YARN同时支持内存和CPU两种资源的调度,本文介绍如何配置YARN对内存和CPU的使用。YARN作为一个资源调度器,应该考虑到集群里面每一台机子的计算资源,然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位,具有一定... 阅读全文
摘要:
PageRank,网页排名,又称网页级别、Google左侧排名或佩奇排名,是一种由搜索引擎根据网页之间相互的超链接计算的技术,而作为网页排名的要素之一,以Google公司创办人拉里·佩奇(Larry Page)之姓来命名。Google用它来体现网页的相关性和重要性,在搜索引擎优化操作中是经常被用来评... 阅读全文
摘要:
scala类型推断方法msortSwapped(abcd)(_>_)通常,一旦有需要推断多台方法类型参数的任务时,类型推断器就只参考第一个参数列表中所有参数类型,但不会参考之后其他参数。因为方法msortSwapped是柯里化的方法,带两个参数列表,所以第二个参数(也就是说,那个函数值)将不会用来做... 阅读全文
摘要:
scala程序里,语句末尾的分号通常是可选的。愿意可以加,若一行里仅有一个语句也可以不加。不过,如果一行里包含多条语句时,分号必须加。分号推断的规则分割语句的具体规则既简单又有效。那就是,除非一下情况中的一种成立,否则行尾被公认为是一个分号:1、疑问行有一个不能合法作为与句结尾的字结束,如句点或中缀... 阅读全文
摘要:
本篇博客内容完全是摘自 IBM developerWorks,非原创,感觉文章不错,遂转至本博客。原文 http://www.ibm.com/developerworks/cn/java/j-lo-funinscala3/Scala 是一种有趣的语言。它一方面吸收继承了多种语言中的优秀特性,一方面又... 阅读全文
摘要:
1.1 说明CDH官方有具体安装部署文档,及步骤详情http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/installation_installation.html此处为第一种方式Cloude... 阅读全文
摘要:
1.1说明CDH机器添加分三种方式1) 页面向导添加(最好离线)2) 软件包手动安装3) 原始码手动安装第一种方式最简单,添加的节点会去主机下载安装包,但是在公网上ip反向解析域名,经常出错,离线会好点 第三种方式原始码安装需要自己指定管理目录 推荐第三种方式,会自动添加对应的服务,目录自动... 阅读全文