摘要: 阅读全文
posted @ 2012-11-05 23:26 76er 阅读(189) 评论(0) 推荐(0) 编辑
摘要: 经过多次认真的讨论研究,我们认为我们的技术难点在于爬虫的多线程技术。一、使用多线程的原因 多线程是一种机制,它允许在程序中并发执行多个指令流,每个指令流都称为一个线程,彼此间互相独立。多个线程的执行是并发的,即在逻辑上是“同时”的。而我们做的爬虫需要爬取多个网页,如果单一的用单线程,效率十分低下。为了提升爬虫的性能,需要采用多线程的爬虫技术。而且很多大型网站都采用多个服务器镜像的方式提供同样的网页内容。采用多线程并行抓取能同时获取同一个网站的多个服务器中的网页,这样能极大地减少抓取这类网站的时间。二、难点何在 由于多线程的线程是并发的,逻辑上控制很难。尤其是同步和死锁的问题。并且对于并行爬.. 阅读全文
posted @ 2012-11-05 23:05 76er 阅读(555) 评论(4) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2012-11-02 21:22 76er 阅读(168) 评论(0) 推荐(0) 编辑
摘要: 大家最近学习数据库有没有遇到这个问题?新版的mysql装上后,在命令行界面内解码错误,中文不能正常显示。在摸索了一些配置的修改和上网搜索后,经过我的实践,可以进行如下操作: 在命令行插入数据之前执行命令set names gbk;或者set names gb2312;再插入查询数据之前执行命令set names gbk;或者set names gb2312;完了之后再set names utf8;这样就能正常插入和查询中文并且保持数据库编码为utf8主要参考了http://database.51cto.com/art/201011/234965.htm 阅读全文
posted @ 2012-11-02 20:48 76er 阅读(342) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2012-11-01 22:48 76er 阅读(182) 评论(5) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2012-10-31 22:27 76er 阅读(166) 评论(0) 推荐(0) 编辑
摘要: 看移山之道,就像看一部小说,在叙述着移山公司的发展历程的同时像我们介绍了VSTS以及MSF方法论,同时也像我灌输了团队编程的一些习惯、技巧以及身为一个团队成员的责任。 在团队中,我们要相互信任,信任他人可以按时保质的完成任务,同时也要为他人的信任负责,自己按时保质的完成自己的任务。而相互信任,必然离不 开团队的交流。MSF给了我们一个必须交流的项目合作模式,即在对任务的处理中,通过预设置的状态变更条件来完成简单的交流。但团队成员聚在一起开个小 会,一起为了项目发言的工作也是必不可少的。 为团队负责,势必要对各个环节负责。增加自己代码的可读性,如变量名的设置,注释的添加等方法都是必不可少... 阅读全文
posted @ 2012-10-31 09:45 76er 阅读(255) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2012-10-30 23:44 76er 阅读(316) 评论(2) 推荐(0) 编辑
摘要: 一个坏苹果会毁了一箱好苹果,在软件开发过程中,无论你做了多少正确的事情,你只要做了一件错事,软件的开发进度就会延期。 这次最大的感受就是软件工程的核心是按期质量的完成计划,最好能够快速开发。 关键是按期。软件的时间规划很难。就像书中写的你很可能肯定的列出了一个项目的时间计划表。但是由于种种的原因,计划一拖再拖,最后甚至可能直接被取消的。一个过于乐观的计划表,会使你突然在交付前夕突然匆忙起来,而匆忙的结果导致更多的错误,最后使得工期一再拖延。所以,一个真实可靠的时间计划表非常重要。《快速软件开发》中说“有少数的一些组织的进度估算准确到了10%以内,能控制在5%之内的还没有听说”。 的确... 阅读全文
posted @ 2012-10-30 00:05 76er 阅读(265) 评论(1) 推荐(0) 编辑
摘要: 这几天在读邹老师的移山之道,选择这本书有两个原因,一个是这本书字最少了,另一个。。。你懂得。 很推荐大家都来读移山之道,一个主要原因是,邹老师的书很懂他的读者,也很懂如何讲给他的读者。略带诙谐的文字使干巴巴的软件工程理论和VSTS工具指南生动起来,尤其是移山公司人物的对白总能戳中要害。印象比较深的几处:大段理论和名词解释后,小飞表示晕菜,我也同样读的犯困;很喜欢白话MSF方法论这章,貌似是移山人物对白最多的一章吧(菜鸟都喜欢白话什么的?);两个劫匪的故事,越成熟简单的软件开发过程和工具越是对广大开发人员的挑战,因为平台是平等的,相对的比较越发苛刻了;差点笑喷我的小飞向阿超提出的所谓CTO白领. 阅读全文
posted @ 2012-10-29 12:48 76er 阅读(292) 评论(0) 推荐(0) 编辑