`Elaine - 博客园

Python抓取微博评论

摘要：本人是张杰的小迷妹，所以用杰哥的微博为例，之前一直看的是网页版，然后在知乎上看了一个抓取沈梦辰的微博评论的帖子，然后得到了这样的网址然后就用m.weibo.cn进行网站的爬取，里面的微博和每一条微博里面的评论都是ajax加载的，通过分析加载的数据分析可以得到，每次动态加载都是通过一个xhr进行加载阅读全文

posted @ 2017-07-19 14:25 `Elaine 阅读(10776) 评论(16) 推荐(0) 编辑

python爬取漫画

摘要：抓取漫画的网址是：sf互动传媒抓取漫画的由来也是看了知乎上有人说用爬取漫画，然后自己也玩玩首页中每个漫画的url是类似这样存储的：然后用lxml通过cssselect(tr>td>a)将能用到的解析出来，然后解析出来会有很多其他的页面的url和信息，然后我是通过url中包含"/mh/"或者是" 阅读全文

posted @ 2017-05-31 00:56 `Elaine 阅读(3026) 评论(0) 推荐(1) 编辑

python爬取网易云音乐歌单音乐

摘要：在网易云音乐中第一页歌单的url：http://music.163.com/#/discover/playlist/ 依次第二页：http://music.163.com/#/discover/playlist/?order=hot&cat=%E5%85%A8%E9%83%A8&limit=35&o 阅读全文

posted @ 2017-05-14 03:23 `Elaine 阅读(15880) 评论(0) 推荐(0) 编辑

python 爬图

摘要：利用bs库进行爬取，在下载html时，使用代理user_agent来下载，并且下载次数是2次，当第一次下载失败后，并且http状态码是500-600之间，然后会重新下载一次阅读全文

posted @ 2017-05-10 23:37 `Elaine 阅读(262) 评论(0) 推荐(0) 编辑

free之后将指针置为NULL

摘要： free一个指针，只是将指针指向的内存空间释放掉了，并没有将指针置为NULL，指针仍指向被释放掉的内存的地址，在判断指针是否为NULL的时候，通常是通过if(pt == NULL) ,这时，导致指针成为了野指针并且野指针和空指针不同，野指针有地址，或者说是指向内存，对野指针进行操作，会造成内存错误阅读全文

posted @ 2017-04-11 10:21 `Elaine 阅读(4403) 评论(0) 推荐(1) 编辑

结构体对齐及#pragma详细解释

摘要：在linux下c语言结构体对齐： 1.自然对齐 struct 是一种复合数据类型，其构成元素既可以是基本数据类型（如int、long、float 等）的变量，也可以是一些复合数据类型（如array、struct、union 等）的数据单元。对于结构体，编译器会自动进行成员变量的对齐，以提高运算效率。阅读全文

posted @ 2017-03-22 23:49 `Elaine 阅读(2816) 评论(0) 推荐(0) 编辑

大端小端

摘要：大端小端是一种存储方式，差别在于大端是将高字节的存放在低地址区，低字节存放在高地址区；小端是将高字节存放在高地址区，低字节存放在低地址区。所以在TCP信息交互的时候，为了不会因为大端小端的因素，将信息的读取产生差异，所以在发送端将主机字节序转换成网络字节序(ntohl，ntohll，ntohs) 阅读全文

posted @ 2017-03-20 00:58 `Elaine 阅读(178) 评论(0) 推荐(0) 编辑

TCP封包解包－－－如有错误，请纠正！

摘要：最近遇见很多的关于TCP中封包解包的数据，在TCP节点之间的信息传递，每次传送的内容是结构体，所以每次在传送的时候，要将结构体中的数据进行封包，然后当一端接收到数据之后，要对接收到的buf参数中的数据进行解包。 TCP是数据流的传送，数据之间没有分割，UDP是数据包的传送，数据之间有分割，所以UDP 阅读全文

posted @ 2017-03-19 23:57 `Elaine 阅读(672) 评论(0) 推荐(0) 编辑

堆栈----好久没有更新了

摘要：内存中栈上的地址是向下增长，堆得地址是向上增长。运行结果: 阅读全文

posted @ 2017-03-09 14:17 `Elaine 阅读(141) 评论(0) 推荐(0) 编辑

附近点搜索

摘要：参考链接：July_ 记得大致是外卖的笔试题牵扯到一个附近的点，当时蠢，也是为了争取面试的机会，所以写的bfs＋优先队列，想通过bfs＋优先队列找最近的点，虽然自己心里知道这个方法是不行的，对于附近的点，也是最近看博客了解到的。可以用R树，每次将在一个区域中划分，将大的矩形进行划分，并且每次划分成阅读全文

posted @ 2016-10-19 23:24 `Elaine 阅读(370) 评论(0) 推荐(0) 编辑