随笔分类 - 数据库
摘要：说到mysql，我们立刻想起它体积小、速度快、还开源的特点，所以它应用颇广。今天我们来总结一下mysql中最频繁的两个操作：插入和查询，的优化方法。 插入： 一、文本导入 使用LOAD DATA INFILE从文本下载数据这将比使用插入语句快20倍。 示例： load data local infi
阅读全文
摘要：速度问题 最近工作中遇到这么一个问题，全站抓取时采用分布式：爬虫A与爬虫B，爬虫A给爬虫B喂饼，爬虫B由于各种原因运行的比较慢，达不到预期效果，所以必须对爬虫B进行优化。 提升Scrapy运行速度有很多方法，国外有大佬说过 Speed up web scraper Here's a collecti
阅读全文
摘要：config.py (创建) MONGO_URL='localhost'MONGO_DB='taobao'MONGO_TABLE='prodect' spider.py 1、链接 2、use 数据库 3、查看库下所有的集合 4、创建集合 5、增加数据 import datetime user0={
阅读全文
摘要：select count（*） from table where buytime>='2011-5-31 00:00:00' and buytime<='2011-6-6 23:59:59' group by itemname select count（*） from table where buy
阅读全文
摘要：依赖 Python2711 xlwt MySQLdb 数据库相关 连接 获取字段信息 获取数据 Excel基础 workbook sheet 案例 封装 封装之后 测试结果 总结 数据库数据导出为excel表格，也可以说是一个很常用的功能了。毕竟不是任何人都懂数据库操作语句的。 下面先来看看完成的效
阅读全文
摘要：数据库分类 #分两大类： 关系型：如sqllite，db2，oracle，access，sql server，MySQL，注意：sql语句通用 非关系型：mongodb，redis，memcache #可以简单的理解为： 关系型数据库需要有表结构 非关系型数据库是key-value存储的，没有表结构
阅读全文
摘要：Python3连接MySQL 注意事项：cursor（）方法用来创建一个光标对象，用来操作增删改查，cursor.execute(sql，[a,b])。 参数写成可迭代对象，例如：元组、列表。防止sql注入问题。 完事以后 conn用来conn.commit（） 或者 conn.rollback（）
阅读全文
摘要：mongodb与mysql命令对比 传统的关系数据库一般由数据库（database）、表（table）、记录（record）三个层次概念组成，MongoDB是由数据库（database）、集合（collection）、文档对象（document）三个层次组成。MongoDB对于关系型数据库里的表，但
阅读全文