摘要: 全文检索简介 全文检索就是针对所有内容进行动态匹配搜索的概念,针对特定的关键词建立索引并精确匹配达到性能优化的目的 最常见的全文检索就是我们在数据库进行的模糊查询,但是模糊查询是针对整体的内容的一个动态匹配过程,在数据量较大的情况下匹配效率极低,常规项目中数据量一般都比较多并且内容繁杂,所以正常的项 阅读全文
posted @ 2019-01-19 13:42 zbllly 阅读(316) 评论(0) 推荐(0) 编辑
摘要: 页面爬的多了,量上去了之后,就会遇到其他的问题,其实不管做什么技术量大了都会有问题。一般情况下,我认为解决"大量"问题的思路有两个:一种是着力于优化系统的能力,让原本只能一分钟处理100条的系统提升到一分钟1000条之类的,在我看来并行、分布式、集群都属于这个范畴,这种思路下,系统处理的内容没有变化 阅读全文
posted @ 2019-01-17 18:52 zbllly 阅读(2261) 评论(0) 推荐(1) 编辑
摘要: scrapy适合一次性爬取全站,如果我想多次爬取,主目录页面难免会出现重复,去重增量爬取就很有必要了。 我在网上搜到了这样的文章scrapy+redis增量爬取, 逻辑是前一次存取每次爬过的url进数据库,这一次在pipeline中再把数据库中已爬url读取存进redis里,然后比对这次爬的item 阅读全文
posted @ 2019-01-17 18:42 zbllly 阅读(1263) 评论(0) 推荐(2) 编辑
摘要: 对于xadmin和djangoueditor 的安装,本人建议直接集成在pycharm中,而不是装在虚拟环境中。因为xadmin中如果需要集成插件的话,需要对其进行添加;而djangoueditor采用pip安装的话,只能用在Python2版本中。 因此建议将源码包下载下来,并直接放在项目下的ext 阅读全文
posted @ 2019-01-14 18:54 zbllly 阅读(281) 评论(0) 推荐(0) 编辑
摘要: 安装python及Django百度即可 主要介绍Xadmin安装 访问地址:https://github.com/sshwsfc/xadmin 下载 安装好之后,将xamdin目录复制到项目 我放在了extra_apps下,同时extra_apps目录点击右键-Mark Directory as - 阅读全文
posted @ 2019-01-11 14:41 zbllly 阅读(299) 评论(0) 推荐(0) 编辑
摘要: django.db.utils.OperationalError: (1193, "Unknown system variable 'storage_engine'") django连接数据库时,配置 "OPTIONS":{"init_command":"SET storage_engine=INN 阅读全文
posted @ 2019-01-10 18:34 zbllly 阅读(316) 评论(0) 推荐(0) 编辑
摘要: 当前这篇教程已经针对 Django 2.0 更新。(2017-12-14 23:19:05) 本文最后面讲了如何 使用virtualenv实现多个互不干扰的开发环境。 一. 版本选择 Django 1.5.x 支持 Python 2.6.5 Python 2.7, Python 3.2 和 3.3. 阅读全文
posted @ 2019-01-04 11:01 zbllly 阅读(137) 评论(0) 推荐(0) 编辑
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2018-12-12 21:01 zbllly 阅读(2) 评论(0) 推荐(0) 编辑