2019年4月15日

[Python]可变类型,默认参数与学弟的困惑

摘要: 一、学弟的困惑 十天前一个夜阑人静、月明星稀的夜晚,我和我的朋友们正在学校东门的小餐馆里吃着方圆3里内最美味的牛蛙,唱着最好听的歌儿,畅聊人生的意义。突然,我的手机一震,气氛瞬间就安静下来,看着牛蛙碗里三双贪婪的筷子,我犹豫了:不——我的肉…但是本着不让人久等的原则,我不舍地放下了筷子。点亮屏幕,我 阅读全文

posted @ 2019-04-15 23:19 Magic激流 阅读(1371) 评论(0) 推荐(0) 编辑

2019年2月28日

AI贪吃蛇前瞻——基于Dijkstra算法的最短路径问题

摘要: 在贪吃蛇流程结构优化之后,我又不满足于亲自操刀控制这条蠢蠢的蛇,干脆就让它升级成AI,我来看程序自己玩,哈哈。 一、Dijkstra算法原理 作为一种广为人知的单源最短路径算法,Dijkstra用于求解带权有向图的单源最短路径的问题。所谓单源,就是一个源头,也即一个起点。该算法的本质就是一个广度优先 阅读全文

posted @ 2019-02-28 23:03 Magic激流 阅读(2025) 评论(0) 推荐(0) 编辑

2019年1月30日

数据清洗(二):岗位职责与要求的分离

摘要: 在现有的所有互联网招聘网站上,岗位信息里的所有条目都是在同一级标签下。因此,岗位信息作为一个整体,就需要额外的操作把要求与职责分离开。鉴于岗位信息里数据格式的不统一,因此博主放弃了使用正则表达式的方法,而是选择了模糊匹配+结构化匹配,将字符串比较的问题转化成了概率问题。 一、数据存储结构 在之前写的 阅读全文

posted @ 2019-01-30 20:29 Magic激流 阅读(1324) 评论(0) 推荐(1) 编辑

2019年1月3日

Hadoop网站日志数据清洗——正则表达式实现

摘要: 周旭龙前辈的Hadoop学习笔记—网站日志分析项目案例简明、经典,业已成为高校大数据相关专业的实验项目。上周博主也完成了这个实验,不同于周前辈使用特殊符号切割字符串得到数据的做法,博主使用了正则表达式来匹配数据。在此将我的思路及代码张贴出来,以供后来者学习借鉴。 一、数据情况分析 1.1、数据格式概 阅读全文

posted @ 2019-01-03 20:45 Magic激流 阅读(2362) 评论(1) 推荐(0) 编辑

2018年12月31日

[C语言]声明解析器cdecl修改版

摘要: 一、写在前面 K&R曾经在书中承认,"C语言声明的语法有时会带来严重的问题。"。由于历史原因(BCPL语言只有唯一一个类型——二进制字),C语言声明的语法在各种合理的组合下会变得晦涩难懂。不过在15级的优先级规则加持下,C语言的声明仍然有迹可循。这篇文章讲解了一个通常取名为"cdecl"(不同于函数 阅读全文

posted @ 2018-12-31 20:17 Magic激流 阅读(832) 评论(0) 推荐(0) 编辑

2018年12月21日

[C语言]类型限定词const解析

摘要: 作为C90增加的一个受限类型关键字,const赋予了它修饰的变量一个新属性——不变性,如果一个变量声明中带有关键字const,则无法通过赋值、增减运算来修改该变量的值。 一、指针与const结合 const与指针的结合较为复杂,因为我们需要把'让指针本身成为const'和'让指针指向的值成为cons 阅读全文

posted @ 2018-12-21 20:52 Magic激流 阅读(584) 评论(0) 推荐(1) 编辑

2018年12月16日

爬虫实战(二) 51job移动端数据采集

摘要: 在上一篇51job职位信息的爬取中,对岗位信息div下各式各样杂乱的标签,简单的Xpath效果不佳,加上string()函数后,也不尽如人意。因此这次我们跳过桌面web端,选择移动端进行爬取。 一、代码结构 按照下图所示的爬虫基本框架结构,我将此份代码分为四个模块——URL管理、HTML下载、HTM 阅读全文

posted @ 2018-12-16 22:29 Magic激流 阅读(1088) 评论(0) 推荐(1) 编辑

2018年12月7日

数据清洗(一):关联数据的替换

摘要: 有时我们的数据里充满了各种简写或标记,而在处理、展示数据的过程中,我们需要的是数据各字段的详细名称,因此就需要对我们的数据集进行清洗与处理。前些天遇到一个某图书馆借阅数据,给出的要求是统计借阅图书的类别,数据里有每次借阅书籍的中图分类号,如"A122",'A'表示马列毛邓,'A1'表示马克思恩格斯著 阅读全文

posted @ 2018-12-07 21:47 Magic激流 阅读(1107) 评论(0) 推荐(0) 编辑

2018年11月23日

数列最值的递归解法

摘要: 在看到辗转相除法的递归解法后,不禁想到涉及比较的分治算法、三目运算符和递归简直就是绝配,一眨眼,脑海中就迸出了数列最小值的递归解法,每一个数都与后面数组的最小值相比较,思路有了,动手吧。 //辗转相除法 int gcd_division(int a,int b) { return b==0?a:gc 阅读全文

posted @ 2018-11-23 21:28 Magic激流 阅读(299) 评论(0) 推荐(0) 编辑

2018年11月16日

前程无忧爬虫源码及分析(一)

摘要: 一、网页分析 1.1 关键字页面(url入口) 首先在前程无忧网站上检索关键词"大数据": 跳转到如下url: https://search.51job.com/list/000000,000000,0000,00,9,99,%25E5%25A4%25A7%25E6%2595%25B0%25E6%2 阅读全文

posted @ 2018-11-16 22:01 Magic激流 阅读(4537) 评论(1) 推荐(1) 编辑

导航