摘要: 前言在删除和修改DataFrame中的数据时,IPython报出了这个警告。虽然不影响程序执行,而且记得原来在pycharm下也执行过对df的修改但是没有问题,抱着好奇心去查了一番。内容极其相似,以至于完全是复制粘贴的文章,到处都是,看了一下感觉没道理。报错代码:df... 阅读全文
posted @ 2018-08-04 19:53 不知道的痛 阅读(964) 评论(0) 推荐(0) 编辑
摘要: 前言如何处理IOJava提供5大基本类用以处理文件和流File类4大基本抽象Stream数据流类字节流字符流转换流—-字节字符流间的转换读写优化—处理流缓冲流BufferedReaderBufferedWriter(相比用得少,下文会有个打印流)顺便提下解决平台编码问... 阅读全文
posted @ 2018-07-10 19:47 不知道的痛 阅读(141) 评论(0) 推荐(0) 编辑
摘要: 学习了几天如何使用scrapy去爬取静态网站,今天尝试去爬取动态加载的网站。选取的网站是 "华尔街见闻" ,文中不会像往常一样大篇幅讲解每一步该如何做,而是探讨如何爬取。 在源代码中无法获得全部数据(有的根本没数据),但是通过下拉滑条可以看到网址不变但有数据加载出来,毫无疑问这就是动态加载的网页。以 阅读全文
posted @ 2018-06-26 15:43 不知道的痛 阅读(456) 评论(1) 推荐(0) 编辑
摘要: 我使用这个函数就是用来清洗数据,删选过滤掉DataFrame中一些行。布尔索引这里你需要知道DateFrame中布尔索引这个东西,可以用满足布尔条件的列值来过滤数据,如下>>> df=pd.DataFrame(np.random.randn(4,4),columns=... 阅读全文
posted @ 2018-05-27 21:12 不知道的痛 阅读(1766) 评论(0) 推荐(0) 编辑
摘要: 本文搜集我学习实战过程中看到的好文,和自己学习总结的一些文章,持续更新数据分析如何入门学习How do I learn data analysis with Python?虽然是英文的,不过看一遍很大收获(可以用百度翻译看一下)Numpy使用快速入门NumpyStac... 阅读全文
posted @ 2018-05-27 20:36 不知道的痛 阅读(430) 评论(0) 推荐(0) 编辑
摘要: 使用Pandas分块处理大文件问题:今天在处理快手的用户数据时,遇到了一个差不多600M的txt文本,用sublime打开都蹦了,我用pandas.read_table()去读,差不多花了近2分钟,最后打开发现差不多3千万行数据。这仅仅是打开,如果要处理不知得多费劲。... 阅读全文
posted @ 2018-05-27 19:37 不知道的痛 阅读(378) 评论(0) 推荐(0) 编辑
摘要: 第五天用户登录管理Tips用户登录流程总结第五天用户登录管理注册应用accountsettings设置url设置Tips from . import views (这个.代表什么???) 这个.指的是当前程序所在文件夹中的 init.py 也类似 Linu... 阅读全文
posted @ 2018-05-23 20:03 不知道的痛 阅读(199) 评论(0) 推荐(0) 编辑
摘要: 抓包分析搜索页面影视资源页面5.22更新完善获取百度云,电驴等连接代码实现所需第三方库搜索页面5.22更新解析搜索页链接获取下载页跳转链接获取下载链接5.22更新,增加json文件格式美化转变,显示中文结果最近追剧时发现找资源挺繁琐的,网页切换来切换去耗时也多,所以就... 阅读全文
posted @ 2018-05-20 18:46 不知道的痛 阅读(1640) 评论(0) 推荐(0) 编辑
摘要: 第四天Templates管理重置后台管理模板静态文件的使用修改原有base.html添加head.html footer.html总结第四天Templates管理自定义模板位置(在根目录下统一放置模板文件,集中管理) 根目录下新建 templates文件夹,并把原有 ... 阅读全文
posted @ 2018-05-20 13:47 不知道的痛 阅读(201) 评论(0) 推荐(0) 编辑
摘要: 第三天内容补充返回 Response 写法总结对于 URL 设计思考URL反解5.18补充模板 titles.htmlarticles.html第三天内容补充前面讲到了如何直接对数据库的操作# 命令行 python manage.py shellfrom blog.m... 阅读全文
posted @ 2018-05-16 20:58 不知道的痛 阅读(307) 评论(0) 推荐(0) 编辑