摘要:
最近工作上写了个爬虫,要爬取国家标准网上的一些信息,这自然离不了 Python,而在解析 HTML 方面,xpath 则可当仁不让的成为兵器谱第一。 你可能之前听说或用过其它的解析方式,像 Beautiful Soup,用的人好像也不少,但 xpath 与之相比,语法更简单,解析速度更快,就像正则表 阅读全文
摘要:
今天在工作中写项目的时候,遇到了一个让我感到几乎无解的问题,在转换了思路后,想出了一个折中的解决方案,记录如下。 其实,问题的场景,非常简单: 就是需要查询出上图的数据,红框是从 项目产品表 中查询的2个字段,绿框是从与项目产品表关联的 文章表 中查询出的1个字段。我希望实现的效果是,获取到项目产品 阅读全文
摘要:
最近公司有个项目,我需要写个小爬虫,将爬取到的数据进行统计分析。首先确定用 Python 写,其次不想用 Scrapy,因为要爬取的数据量和频率都不高,没必要上爬虫框架。于是,就自己搭了一个项目,通过不同的文件目录来组织代码。然而,这就绕不过模块和包,遇到了一些必踩的问题,一番研究之后,记录如下。 阅读全文
摘要:
我们都知道,当数据表中的数据日益增长后,查询会变得越来越慢,当初在表设计之初,尚未考虑创建索引的话,那么现在正是必要的时候。可是,如果对于MySQL使用索引的策略不了解,或是脱离了具体业务场景,那么,创建出来的索引,也发挥不了多大的作用。本文,就从我刚刚完成的一个项目入手,介绍如何正确的设计联合索引 阅读全文
摘要:
当你用 Python 写程序时,不论是简单的脚本,还是复杂的大型项目,其中最常见的操作就是读写文件。不管是简单的文本文件、繁杂的日志文件,还是分析图片等媒体文件中的字节数据,都需要用到 Python 中的文件读写。 本文包含以下内容 文件的构成部分 Python 读写文件的基本操作 在一些场景下读写 阅读全文
摘要:
队列,顾名思义,排着队等着做事情。在生活场景中,凡是排队的人,都是带有目的性的、要完成某件事情,才去排队的,要不没有谁会闲到排队玩儿。而在软件应用层面,队列是什么,队列有什么优点,我们什么时候需要用队列,以及在实际业务场景下,如何基于队列做具体功能实现,在这篇文章中,我将用 PHP 的 Larave 阅读全文
摘要:
在Web应用的开发中,不论是网站还是服务接口,我们可能会遇到来自客户端的某个请求,而这请求的背后,隐藏着要执行的大量的繁重任务,如果我们在后台程序中,同步的进行处理,那么程序执行时间比较久,用户体验是糟糕的,甚至会导致502执行超时。针对这种情况,有很多成熟的解决方案【据我粗浅的认知,使用队列是一个 阅读全文
摘要:
初学者 作为初学者,通常情况下,我们都会买一本PHP教材,或者在网上看免费教程,这当然是学习的好途径。因为,这些书籍和网上的免费教程,基本上都是由浅入深的渐进式教学方式,基础知识居多,高级知识占少量的部分。这样,可以让初学者很快的入门,并且建立信心。 我的唯一的一本PHP入门教材是【PHP与MySQ 阅读全文
摘要:
Python初学者的代码修炼手册,人过三十,脑力大减,写此笔记,以备后忘。 阅读全文
摘要:
我手里维护的一个项目,遇到一个问题:原项目的开发人员在Javascript中,大量的拼接HTML,导致代码极丑,极难维护。他们怎么能够忍受的了这么丑陋、拙劣的代码呢,也许是他们的忍受力极强,压根就没想去寻找解决方法。 可是,我,是万难不能接受这种丑陋的解决方式的。有没有优雅的解决方法呢,于是在... 阅读全文
摘要:
今天Google如何在ST中编译运行Java的时候,无意中发现了一个更好的方法。其实,在ST中是可以编译Java的,但是运行不了,因为没有配置运行命令。那么一般的配置方法都是如下的:http://www.oschina.net/translate/compile-and-run-java-progr... 阅读全文
摘要:
以前搞PHP的时候,只要能保证在服务器下正常访问就行了,根本没有深究Apache的具体配置,都是临时Google,搞定之后就再也不去深入研究了。下次要重新配置的时候,再Google一番,往复循环。今日,终于略花时间研究一下,遂成笔记,以备后忘。 阅读全文
摘要:
很久以前我是学J2EE的,后来做了J2ME,又后来做了一点Android,再后来就学了PHP,励志要用PHP在Web开发上有所发展。我上家公司的老板告诉我说:“你的方向错了,现在是移动互联网的时代,去搞PHP木有前途”。这话想来不错,可是我觉得,再是移动互联网的时代,它也得联网不是,要联网就得用PHP or RoR or Python or J2EE or ASP.NET等等写联网,所以,我学习PHP,是为了有个好基础,有平台,其他才能做得起来。至于,选择什么样的技术实现,各有所爱,我觉得在我们这个小地方,用Java不合时宜,都是大公司用啊,.NET我不喜欢,毕竟是从Java阵营里出来的,.. 阅读全文
摘要:
以前看一些PHP框架源码的时候,很奇怪在文件包含的时候,会用dirname(__FILE__)来拼凑文件路径,不知道这样做有什么好处,后来终于发现了其中的缘由。我们来看一个简单的例子:有a,b,c三个php文件。a.php在网站根目录,b.php在b文件夹下——b/b.php,c.php在c文件夹下——c/c.php。有些混乱?看图就一目了然了:a.php 和 b.php 都包含了 c.php,最后 c.php 包含了d文件夹下的一个php文件——d/d.php。我们先来看a.php: 1 "; 7 8 require('c/c.php'); 9 10 ?>很简 阅读全文
摘要:
距第一篇的开箱水文,已经有4个月的时间了,但因为懒,就没有下文了。终于,今天,我觉得写一篇准技术文章了。 忘记了是怎么开始用的ST,应该是在网上看到别人推荐才用到吧,用了有半年了。在windows下是绝对的神器,Notepad++之类的无可比拟;linux下,因为有个vim,鄙人对vim不懂,所以孰好孰更好,不好说。总结起来就是,神器一般的轻量级的面向php、python等开发者的文本编辑器,相当灰常不错,推荐给你。 我主要用它来写PHP,真是相当的好用。在写python方面可能也挺好用;写ruby不知道情况怎么样,有没有用它来写的。总之,ST比较适合写一些脚本语言,至于像C#,Jav... 阅读全文
摘要:
刚看了下入园时间,2010年1月23日,我想,应该是比这还要早的时间,就看博客园了,大概是08或09年就关注这里了,只不过注册的时间是2010年吧。 以前我也写博客,只不过,是写生活记事,从不写技术博客,我承认我缺乏分享精神。 现在,我觉得,有必要写写技术博客了,不是我突然之间有了分享的精神,而是,我觉得写技术博客,有助于自己的技术积累,这就是个技术备忘录。当以前需要查找技术资料的时候,就钻入google,一通搜索,找到答案后,也就完事了,过了几个月,都烟消云散了,什么也没留下。如果当时解决问题后,及时的写成博客,岂不很好,不但可以供以后查阅,还可以提供技术分享。这样写成文字的技术积累... 阅读全文