10 2015 档案

【飞谷六期】爬虫项目4
摘要：经过了几天的摸索，照猫画虎的把爬虫的部分做完了。但是很多原理性的东西都不是很理解，就是照着抄的，还需要继续学习。看这个目录结构，只看.py的文件，.pyc的文件是运行的时候生成的不管它。items.py:定义想要导出的数据Pipelines.py:用于将数据导出settings.py:告诉程序数据传... 阅读全文
posted @ 2015-10-31 14:43 匡子语 阅读(309) 评论(0) 推荐(0) 编辑
【飞谷六期】爬虫项目3
摘要：PYTHON相关知识准备：1.yield在学代码的时候，发现很多函数的返回是用的yield关键字。这跟python中的迭代器和生成器有关。for line in open("test.txt"): #use file iterators print line这样的代码是使用了迭代器的，每次... 阅读全文
posted @ 2015-10-23 17:22 匡子语 阅读(174) 评论(0) 推荐(0) 编辑
【飞谷六期】爬虫项目2
摘要：大概知道一些思路了，试试内推网的爬取。首先url的格式是：http://www.neitui.me/?name=neitui&handle=lists&keyword={KEY_WORD}&page={CUR_PAGE}url后面问号跟着的是参数，等于号后面有值的是有效的参数，无值的可以省略；&是连... 阅读全文
posted @ 2015-10-23 00:19 匡子语 阅读(222) 评论(0) 推荐(0) 编辑
【飞谷六期】爬虫项目1
摘要：报名了飞谷六期的爬虫项目，但是自己相关的基础还是较弱，每天都有种无所事事的感觉。决定还是记录一下每天学习到的知识，自己看看也知道学习了些什么。1.XShell连接阿里云，Xftp传输文件2.把例子的文件拷贝出来后，link文件夹中的代码如图：开始看到这些文件，我想说什么鬼。然后看了一下 Scrapy... 阅读全文
posted @ 2015-10-22 19:56 匡子语 阅读(284) 评论(0) 推荐(0) 编辑
【SQL】使用调用层接口
摘要：只记录C语言相关的，java相关的JDBC和PHP相关的都先跳过。C相关的也只是记录一下，这里面的语句我都不知道如何运行，在我的vs2010里面连头文件都找不到... 我觉得这里只是讲解了一下基本的原理，具体的还跟我们采用哪一个数据库有关。用C和SQL/CLI编写的程序能够创建和处理四种记录：1.环... 阅读全文
posted @ 2015-10-21 21:53 匡子语 阅读(1751) 评论(1) 推荐(0) 编辑
【SQL】持久性存储模块PSM
摘要：1. 创建PSM函数和过程创建过程：CREATE PROCEDURE 名字 （参数） 局部声明； 过程体；创建函数：CREATE FUNCTION 名字 （参数） RETURNS 类型 局部声明； 过程体；过程的参数：模式-名字-类型的三元组。模式有 IN, OUT, INOUT，默认为IN... 阅读全文
posted @ 2015-10-21 17:12 匡子语 阅读(1307) 评论(0) 推荐(0) 编辑
【SQL】宿主语言接口
摘要：一般情况下，SQL语句是嵌套在宿主语言（如C语言）中的。有两种嵌套方式：1.调用层接口（CLI）：提供一些库，库中的函数和方法实现SQL的调用2.直接嵌套SQL：在代码中嵌套SQL语句，提交给预处理器，将SQL语句转换成对宿主语言有意义的内容，如调用库中的函数和方法代替SQL语句阻抗不匹配问题：连接... 阅读全文
posted @ 2015-10-21 16:03 匡子语 阅读(1760) 评论(0) 推荐(0) 编辑
【SQL】服务器环境下的SQL
摘要：一、大型数据库的三层体系结构web服务器：比如在淘宝页面上，输入“牛肉干”，就是web服务器来处理，提交给应用服务器。应用服务器：在获取到“牛肉干”这个请求后，应用服务器决定如何汇集结果，并进行相关查询，比如相关商品、用户评价、价格等数据库服务器：执行应用服务器请求的查询，另外提供一些数据缓冲。二、... 阅读全文
posted @ 2015-10-19 16:23 匡子语 阅读(249) 评论(0) 推荐(0) 编辑
【C语言】++(a++)的写法是错的
摘要：http://bbs.csdn.net/topics/390764053a++得到的是一个右值，++操作需要的是一个左值。------------------------------------------------------a++返回的是一个右值，不对再++了，可以写成++(++a)http:... 阅读全文
posted @ 2015-10-18 20:28 匡子语 阅读(802) 评论(0) 推荐(0) 编辑
【SQL】索引
摘要：1.定义索引：一种数据结构，典型的是B-树，有键值对，键对应属性的某个值，值对应该键的存放位置。建立索引的目的：加快查询速度比如：SELECT *FROM MoviesWHERE studioName = 'Disney' AND year = 1990;如果有studioName上的索引，则不需要... 阅读全文
posted @ 2015-10-17 20:07 匡子语 阅读(262) 评论(0) 推荐(0) 编辑
【SQL】视图
摘要：一、虚拟视图由create table定义的表：以物理形式存在，实际存储在数据库中视图：虚拟的，并不是一个真正存在的表1.视图定义CREATE VIEW AS 例1.CREATE VIEW ParamountMovies AS SELECT title, year FROM Movie... 阅读全文
posted @ 2015-10-17 18:32 匡子语 阅读(245) 评论(0) 推荐(0) 编辑
【C++】类内函数与内联函数
摘要：今天本来在休息，结果小伙伴问了我个问题，把我的三观都颠覆了。get到了新的知识点，这里记录一下。内类的函数，都默认为是内联函数！！这居然是真的。然后我就懵了。因为内联函数应该是定义在头文件里比较好，如果定义在cpp文件中，其他的文件就无法找到内联函数进行展开了。那么问题来了：难道我定义一个类后，所有... 阅读全文
posted @ 2015-10-16 17:09 匡子语 阅读(4631) 评论(0) 推荐(1) 编辑
【SQL】约束与触发器2
摘要：3.修改约束3.1给约束命名按如下格式命名：name CHAR(30) CONSTRAINT NameIsKey PRIMARY KEYgender CHAR(1) CONSTRAINT NoAndro CHECK (gender IN ('F'... 阅读全文
posted @ 2015-10-15 20:03 匡子语 阅读(826) 评论(0) 推荐(0) 编辑
【SQL】约束与触发器1
摘要：一.外键1.1特点表A的外键，一定是其他某个表B的主键或有UNIQUE声明的属性。A的外键的值，一定是对应表B中相应的属性值。（空值除外）1.2声明方法方法1：属性名 类型 REFERENCES 表名 （属性名）方法2：FOREIGN KEY (属性名) REFERENCE 表名 （属性名）CREA... 阅读全文
posted @ 2015-10-15 17:17 匡子语 阅读(473) 评论(0) 推荐(0) 编辑
【SQL】事务
摘要：1.事务的开始结束：START TRANSACTION ：标记事务开始COMMIT ：标记事务成功结束ROLLBACK ：标记事务夭折2.设定事务只读、读写性质：SET TRANSACTION READ ONLY：设定事务为只读事务SET TRANSACTION READ WRITE : (默认状态... 阅读全文
posted @ 2015-10-08 21:49 匡子语 阅读(181) 评论(0) 推荐(0) 编辑
【SQL】数据库更新
摘要：1.插入INSERT INTO R(A1，A2，...An) VALUES(v1, v2, ...，vn)如果插入了所有属性，并且按照定义的顺序给出，可以省略(A1，A2，...An)可以只插入部分属性，没有指明的部分填充NULL可以使用SELECT语句批量插入INSERT INTO Studio(... 阅读全文
posted @ 2015-10-08 17:25 匡子语 阅读(203) 评论(0) 推荐(0) 编辑
【SQL】全关系操作
摘要：1.消除重复 - DISTINCTSQL语句中默认的是，重复的元祖可以多次的显示。如果希望消除重复，需要DISTINCT关键字。注：消除重复需要排序，所以代价高。在需要高效率时要谨慎。SELECT DISTINCT nameFROM MovieExec, Movies, StarsInWHERE c... 阅读全文
posted @ 2015-10-08 16:51 匡子语 阅读(477) 评论(0) 推荐(0) 编辑
【python】抄写爬淘宝已买到的宝贝的代码
摘要：教程地址：http://cuiqingcai.com/1076.html这一篇掌握的不好。虽然代码可以跑，但是里面的很多东西都一知半解。需要有空的时候系统整理。原代码中的正则表达式已经失效了，我自己又重新写的。知识点：1.cookie的使用2.验证码的处理，填写后的提交方式3.浏览器打开页面4.提交... 阅读全文
posted @ 2015-10-07 21:03 匡子语 阅读(2220) 评论(1) 推荐(0) 编辑
【C++】指针和new相关
摘要：看黄邦勇帅的笔记。指针和new之前觉得已经掌握的很好了，可是看了资料还是get到了新知识。记录一下。1.指针只支持 4 种算术运算符：++，――，＋，－．指针只能与整数加减．指针运算的原则是：每当指针的值增加时，它将指向其基本类型的下一个元素的存储单元．减少时则指向上一个元素的存储单元．2.注意两个... 阅读全文
posted @ 2015-10-06 21:34 匡子语 阅读(972) 评论(0) 推荐(0) 编辑
【python】抄写大神的百度贴吧代码
摘要：原文链接：http://cuiqingcai.com/993.html划重点： 1.提取帖子内容时，对图片，贴吧自动增加的超链接，制表符，换行符要做删除或替换处理 2.decode是把bytes转换为str, encode是把str转换为bytes 原帖中的代码第100行多了一个encode,导... 阅读全文
posted @ 2015-10-05 17:36 匡子语 阅读(563) 评论(0) 推荐(0) 编辑
【python】抄写大神的糗事百科代码
摘要：照着静觅大神的博客学习，原文在这：http://cuiqingcai.com/990.html划重点：1. str.strip() strip函数会把字符串的前后多余的空白字符去掉2.response.read().decode('utf-8','ignore') 要加'ignore'忽略非法字符，... 阅读全文
posted @ 2015-10-04 21:49 匡子语 阅读(521) 评论(0) 推荐(0) 编辑
【python】python2.x 与 python3.x区别对照+缩进错误解决方法
摘要：仅仅列出我用到的，不全。划重点： 1. urllib2 用 urllib.request 代替 2. urllib.urlencode 用 urllib.parse.urlencode 代替 3. cookielib 用 http.cookiejar 代替 4. print " " 用 pr... 阅读全文
posted @ 2015-10-04 17:17 匡子语 阅读(2256) 评论(0) 推荐(0) 编辑
【python】正则表达式相关
摘要：注意：Python3.X 的print要有括号， Python 2.x的不需要放上学习时写的例子：import rem = re.match(r'(\w+) (\w+)(?P.*)', 'hello world!')print("m.string:", m.string)print("m.re:",... 阅读全文
posted @ 2015-10-02 23:05 匡子语 阅读(275) 评论(0) 推荐(0) 编辑