摘要: hadoop是什么? 解决的问题: 海量数据的存储(HDFS):供hbase,mapreduce进行处理 海量数据的分析(MapReduce) 资源管理调度(YARN) 搜索引擎: 爬虫系统+站内搜索 爬虫对html网页进行抓取,数据量较大,需要进行海量数据存储,传统存储手段已经无法满足需求 had 阅读全文
posted @ 2018-03-09 23:57 sonofthesea 阅读(114) 评论(0) 推荐(0) 编辑
摘要: 1.在python中使用正则表达式,需要引入re模块 2.元字符 3.findall()找到所有匹配的子串,并返回 4.search():查找到一个匹配的字符则返回 5.match():从第一个字符开始匹配到则返回 阅读全文
posted @ 2018-03-09 22:56 sonofthesea 阅读(113) 评论(0) 推荐(0) 编辑
摘要: 1.栈 2.栈的典型应用场合 1)逆序输出:输出次序与处理过程颠倒,递归深度和输出长度不易预知 2)递归嵌套:具有自相似性的问题可递归描述,但分支位置和嵌套深度不固定 3)延迟缓冲: 4)栈式计算:RPN,基于栈结构的特定计算模式 3.进制转换 4.括号匹配 思路:消去一对紧邻的左右括号,不影响全局 阅读全文
posted @ 2018-03-09 16:34 sonofthesea 阅读(137) 评论(0) 推荐(0) 编辑
摘要: 单例模式:用来创建唯一的实例对象 想要保证对象唯一: 1.为了避免其他程序过多建立该类对象。先禁止其他程序建立该类对象 2.还为了让其他程序可以访问到该类对象,只好在本类中,自定义一个对象。 3.为了方便其他程序对自定义对象的访问,可以对外提供一些访问方式。 这三部怎么用代码体现呢? 1.将构造函数 阅读全文
posted @ 2018-03-09 10:41 sonofthesea 阅读(247) 评论(0) 推荐(0) 编辑
摘要: 列表访问 1.列表唯一化 2.有序列表 3.选择排序O(n^2) 4.插入排序(n^2) 5.逆序对 左侧元素大于右侧元素,则两个元素互为逆序对 将每一个逆序对,都记录到后者的名下 采用插入排序的思想,对序列进行插入排序,每一个元素插入的位置往后至序列末尾都与该元素成逆序对 阅读全文
posted @ 2018-03-09 01:07 sonofthesea 阅读(233) 评论(0) 推荐(0) 编辑