09 2015 档案
摘要：宇宙究竟是不是宿命的？人究竟有没有自由意志？这是个根本问题。百度后，收集几个比较有深度的帖子如下：帖子一： 关键就在于你不知道初值！。。。。假如我有一个生成随机数的算法，只要知道初值你就知道后续生成的每一位随机数。。。。但是现在你只有结果，不知道初值，更不知道这个算法如何运转。。。你怎么看待这些结果
阅读全文
摘要：前几日，爬虫基本能爬点东西出来了，现在需要实现定时把数据爬到DB里去，可以使用windows定时任务执行py脚本，但好像不彻底，要做一个纯（jiao）粹（qing）的程序员，定时任务的重任落到了Aspshceduler上；下文中许多内容来自互联网。APScheduler是基于Quartz的一个Pyt...
阅读全文
摘要：今日尝试用python建立一个restful服务。原文地址：http://www.dreamsyssoft.com/python-scripting-tutorial/create-simple-rest-web-service-with-python.php?/archives/6-Create-...
阅读全文
摘要：使用scrapy中的CrawlSpider类来进行爬行一直用的是BaseSpider，回调函数的方式，有一个问题是title，date在一个页面，author，detail在另一个页面时，怎么把这些字段统一在一个item条目中，尝试了多次，用全局变量等，未果。尝试使用更高级的CrawlSpider操...
阅读全文
摘要：今天又学习了一天scrapy。其中基本用法是 设置strat_url,实现parse(),实现parse()的回调函数prase_item(),以及parse_item()的回调函数parse_item_details();回调函数的意思，有点懂，又时常糊涂；在知乎上看了个帖子，比较通俗易懂，摘录如...
阅读全文
摘要：昨天安装了scrapy一切正常，调试了bbsSpider案例（详见上文），今日开机因为冰封还原，提示找不到python27.dll，重新安装了python2.7，使用easy-install scrapy 提示错误：pkg_resources.DistributionNotFound: pyasn1...
阅读全文
摘要：三体的核心其实是暗黑森林法则同人性的矛盾冲突，执剑者的角色便是这一矛盾的集中体现。执剑者即是人类文明的守护者又是人类民主的最大嘲讽，已独裁的形式保存人类民主，确实是让人尴尬的场景。但事实就是如此，极端场景下也只能如此。这就是事物相克相生的道理吧，没有纯粹的民主，没有纯粹的独裁。三体中逻辑的独裁只是形
阅读全文
摘要：昨天用python谢了一个简单爬虫，抓取页面图片；但实际用到的爬虫需要处理很多复杂的环境，也需要更加的智能，重复发明轮子的事情不能干，再说python向来以爬虫作为其擅长的一个领域，想必有许多成熟的第三方框架，百度后选用了Scrapy作为平台构建复杂爬虫。Scarpy的下载安装不必细说，话说当前只支...
阅读全文
摘要：今天开始学习Python写个爬虫。首先，从百度找个实例来看看。1importurllib.request,re,sys,os2defget_bing_backphoto():3if(os.path.exists('photos')==False):4os.mkdir('photos')5foriin...
阅读全文
摘要：开发一个新闻移动客户端 起先用appcan、apiCloud，最后选择了DCloud； MUI文档看了n久，js代码一上来不很适应编码风格，一堆括号弄得头大； 数据库由爬虫程序将新闻页面数据爬出来； 用mysql触发器在插入时进行数据清洗； 后台用thinkphp拉取数据，json格式传递； 前台用
阅读全文
摘要：今天在搞定Django框架的blog搭建后，尝试一下python的科学计算能力。python的科学计算有三剑客：numpy，scipy，matplotlib。numpy负责数值计算，矩阵操作等；scipy负责常见的数学算法，插值、拟合等；matplotlib负责画图。 首先，百度上头三个，依次安装。
阅读全文
摘要：最近在研究Python，起初是因为想做个爬虫，昨天看了点基础教程，台湾辅仁大学的视频，了解了python的语法规范及语言特性，主要有三：1.动态脚本语言；2.语法简洁，强制缩进；3.应用广泛，web、系统管理、脚本、科学计算等等，第三方应用多；下面开始正文，Django是Python时间中数一数二的...
阅读全文
