随笔分类 - Python
摘要：python据说功能强大，触角伸到各个领域，网上搜了一下其科学计算和工程计算能力也相当强，具备各种第三方包，除了性能软肋外，其他无可指摘，甚至可以同matlab等专业工具一较高下。从网上找了一个使用遗传算法实现数据拟合的例子学习了一下，确实Python相当贴合自然语言，终于编程语言也能说人话了，代码...
阅读全文
摘要：前端时间花了1个月左右，搞了个新闻APP，功能很简单，就是把页面版的新闻条目定时爬到后台数据库，然后用app显示出来。1.客户端使用了DCloud框架，js基本是个新手，从没写过像样的代码，html5更是新手，索性直接使用现成的前端框架。APPcan，APICloud尝试过，最终选择DCloud，话...
阅读全文
摘要：python爬虫基本告一段落，琢磨搞点其他的，正好在网上看到一个帖子，一个外国13岁小朋友用python写的下棋程序，内容详细，也有意思，拿来练手。13岁啊。。 我这年纪还在敲 dir啥的吧想到原先玩跑跑卡丁车时看到欧酷有个4岁熊孩子玩的完美漂移录像，深受打击，从此退出车坛。。。 废话不多说，记录一...
阅读全文
摘要：前几日，爬虫基本能爬点东西出来了，现在需要实现定时把数据爬到DB里去，可以使用windows定时任务执行py脚本，但好像不彻底，要做一个纯（jiao）粹（qing）的程序员，定时任务的重任落到了Aspshceduler上；下文中许多内容来自互联网。APScheduler是基于Quartz的一个Pyt...
阅读全文
摘要：今日尝试用python建立一个restful服务。原文地址：http://www.dreamsyssoft.com/python-scripting-tutorial/create-simple-rest-web-service-with-python.php?/archives/6-Create-...
阅读全文
摘要：使用scrapy中的CrawlSpider类来进行爬行一直用的是BaseSpider，回调函数的方式，有一个问题是title，date在一个页面，author，detail在另一个页面时，怎么把这些字段统一在一个item条目中，尝试了多次，用全局变量等，未果。尝试使用更高级的CrawlSpider操...
阅读全文
摘要：今天又学习了一天scrapy。其中基本用法是 设置strat_url,实现parse(),实现parse()的回调函数prase_item(),以及parse_item()的回调函数parse_item_details();回调函数的意思，有点懂，又时常糊涂；在知乎上看了个帖子，比较通俗易懂，摘录如...
阅读全文
摘要：昨天安装了scrapy一切正常，调试了bbsSpider案例（详见上文），今日开机因为冰封还原，提示找不到python27.dll，重新安装了python2.7，使用easy-install scrapy 提示错误：pkg_resources.DistributionNotFound: pyasn1...
阅读全文
摘要：昨天用python谢了一个简单爬虫，抓取页面图片；但实际用到的爬虫需要处理很多复杂的环境，也需要更加的智能，重复发明轮子的事情不能干，再说python向来以爬虫作为其擅长的一个领域，想必有许多成熟的第三方框架，百度后选用了Scrapy作为平台构建复杂爬虫。Scarpy的下载安装不必细说，话说当前只支...
阅读全文
摘要：今天开始学习Python写个爬虫。首先，从百度找个实例来看看。1importurllib.request,re,sys,os2defget_bing_backphoto():3if(os.path.exists('photos')==False):4os.mkdir('photos')5foriin...
阅读全文
摘要：今天在搞定Django框架的blog搭建后，尝试一下python的科学计算能力。python的科学计算有三剑客：numpy，scipy，matplotlib。numpy负责数值计算，矩阵操作等；scipy负责常见的数学算法，插值、拟合等；matplotlib负责画图。 首先，百度上头三个，依次安装。
阅读全文
摘要：最近在研究Python，起初是因为想做个爬虫，昨天看了点基础教程，台湾辅仁大学的视频，了解了python的语法规范及语言特性，主要有三：1.动态脚本语言；2.语法简洁，强制缩进；3.应用广泛，web、系统管理、脚本、科学计算等等，第三方应用多；下面开始正文，Django是Python时间中数一数二的...
阅读全文
