摘要: 今天完成一个网页抓取功能。 初看时,数据在网页上表格很整齐,没有多少需要特殊处理的地方。有300多页,先抓取前10页。 大致想了下,找url规律、分析数据规律、利用已有框架、建表、写入数据库。给出了半个小时的估计时间。 然而实际完成后,却用了1个小时10分钟。 一路下来其实蛮顺利的,利用已有框架,只 阅读全文
posted @ 2017-06-30 17:17 SimbaStar 阅读(1466) 评论(0) 推荐(0) 编辑
摘要: 没事的时候会去leetcode上转转,刷几题。 有什么用呢? 最主要的: 保持思维的灵敏,思考的习惯。它会迫使你思考:有没有还没考虑到的地方;尤其是边界情况,各个特殊情况。久而久之,面对任何问题时,会提醒自己,要多想想,多想想不容易察觉的情况。 有时候会发现一个简单的题目总是通不过测试,检查了半天, 阅读全文
posted @ 2017-05-11 10:37 SimbaStar 阅读(1384) 评论(0) 推荐(0) 编辑
摘要: 1. 运行时异常和受检异常 2. 提前预防运行时异常。最常发生的是NPE,而检查NPE是程序员的基本职责。其他的,如除0等运行时异常的检查,需要程序员仔细检查,每个函数都得检查(除非可以确定不会有空指针等情况),哪怕if()语句数量增加。无法通过预检查的异常除外,如在解析一个外部传来的字符串形式数字 阅读全文
posted @ 2017-05-10 18:33 SimbaStar 阅读(1072) 评论(0) 推荐(0) 编辑
摘要: 用了这么些日子的linux/unix系统,也和别人一起合作开发了不少程序,发现高手都喜欢在命令行上操作,而且控制程序的运行偏好于使用脚本,加上参数如:start、restart、stop等。 后来自己开发程序,也越来越觉得这样是个好的方法: 1)节省时间,一键操作一系列步骤,需要记住的操作只有一两个 阅读全文
posted @ 2017-05-10 17:09 SimbaStar 阅读(7645) 评论(0) 推荐(0) 编辑
摘要: install perl Module 1. search module's package on [Google](https://www.google.com) or [CPAN Search Site](http://search.cpan.org/)2. download packages 阅读全文
posted @ 2017-05-10 15:22 SimbaStar 阅读(879) 评论(0) 推荐(0) 编辑
摘要: 最近想为系统添加一个统计脚本,但是系统内的模块是有perl和java两种语言编写,且模块是通过crontab定时调用的,所以需要使用IPC传输信息。 第一个想到的是socket方式,感觉需要统一设定一个端口,不是特别保险,并且全都在一台服务器上,用socket有些浪费,所以打算尝试一下linux的I 阅读全文
posted @ 2017-05-10 14:44 SimbaStar 阅读(1060) 评论(0) 推荐(0) 编辑
摘要: 1. poi3.9 LeftoverDataException 以前的随笔也提到过解决办法http://www.cnblogs.com/starRebel/p/5067026.html。 但是最近在优化读写excel部分的代码,发现上述方法有个缺点就是如果excel有多个sheet,那么转成csv之 阅读全文
posted @ 2017-01-25 17:46 SimbaStar 阅读(1636) 评论(2) 推荐(2) 编辑
摘要: 在linux环境下学习的多了,这些开源协议也听的见的越来越多,感觉有必要仔细了解一下。 1. BSD 先说BSD是因为它的自由度相对来说是比较大的。BSD全称Berkeley Software Distribution license,以此协议代码为基础做二次开发时,只需满足以下三个条件: a. 对 阅读全文
posted @ 2017-01-18 15:56 SimbaStar 阅读(963) 评论(0) 推荐(0) 编辑
摘要: 最近做了挺多从不同的网页抓取数据的工作,重复多了之后,有了重构的想法,使用的语言是java。 1. 以前的做法: 因为是一个功能性程序,所以把它当做了过称式程序,没有建立特别的类: 而一些变量值也写死在程序中: 用于获取时间的getBoardList()函数内部,通过正则表达式和遍历比较取出数据,返 阅读全文
posted @ 2017-01-17 18:30 SimbaStar 阅读(431) 评论(0) 推荐(0) 编辑
摘要: 最近又重新看了下netty背后的设计思想,接触到了reactor模型。发现以前虽然也看过reactor和proactor模型的介绍,但是真的是只了解了个皮毛。 再重新学习了一遍,有了更深刻的认识。但是手边并没有实际的项目再用这类技术,所以这次学习只是理论上理解的更深刻了,也没有实际使用经验。 那就。 阅读全文
posted @ 2016-11-30 16:09 SimbaStar 阅读(446) 评论(0) 推荐(0) 编辑