06 2019 档案
摘要：TensorFlow在win下可以使用pip安装，pip install TensorFlow 通常分为GPU版和CPU版，有独立显卡的情况下，推荐使用GPU,GPU在处理数据运算方面更优于CPU，从专业的角度看，使用源码安装可以开启加速。 作为机器学习中更专业的技术，当然还会依赖继续学习中的类库，
阅读全文
摘要：调用方法来实现： 如果想查看决策树的结构，可以使用可视化工具将其转化为图片 graphviz win安装直接exe就行了，安装完成，需要将bin目录配置到path环境变量中去。即可执行dot命令。
阅读全文
摘要：Kaggle是由联合创始人、首席执行官安东尼·高德布卢姆（Anthony Goldbloom）2010年在墨尔本创立的，主要为开发商和数据科学家提供举办机器学习竞赛、托管数据库、编写和分享代码的平台。很多数据样本可以从该平台获取。类似于Githup. 想获取上面的数据则需要一个账号。 目前只支持Fa
阅读全文
摘要：关于pycharm,作为Python开发的利器，功能强悍就不多说了。 安装：尝试当前最新版2018.3.6 官网下载地址 ：http://www.jetbrains.com/pycharm/?fromMenu 或者选择下载 3.5安装升级至3.6 ：http://soft.onlinedown.ne
阅读全文
摘要：双均线：此处采用5日均线和30日均线 金叉：短均线上穿长均线 5日线上穿30日线，交叉处为金叉 5日线<30日线 由true >false 死叉：短均线下穿长均线 5日线下穿30日线，交叉处为死叉 由false >true 具体实现代码：
阅读全文
摘要：关于过滤的配合使用： notnull 配合all isnull配合any 比如：对下列数据过滤获取有用数据 方法一：空值排除法 直接调用dropna方法去执行空值去除 方法二：用当前值进行填充 去除行元素重复： 关于替换操作： map的映射与计算： 对多表数据进行拼接：
阅读全文
摘要：数据分析三剑客：Numpy Pandas Matplotlib 二维数组取值： attr=np.random.randint(0,100,size=(5,6)) attr[[1,2]] #取数组中的1行到2行 atr[0:3] #从第一行到第三行 attr[;,2:4] #从第3列到第4列 关于数组
阅读全文
摘要：增加并发： 默认scrapy开启的线程数为32个，可以适当进行增加，在seeting配置文件中修改councurrent_requests=100 降低日志等级： 在运行scrapy运行时，会有大量日志输出，为了减少cpu的使用率，可将日志等级设置为log=error或log=info 禁用cook
阅读全文
摘要：此处采用函数执行鼠标滑动操作，最终完成动态数据的加载（懒加载） 原理：设置 一个空列表用于存储每次鼠标拖动后的瞬间页面最大高度。每次追加页面的最新高度 在每次拖动后，重新去获取一下，当前页面的最大高度 如果获取的页面最大高度等于了列表最后的那个最大高度，说明页面到底了，跳出循环。 否则会将当前获取的
阅读全文
摘要：scrapy框架的中间件主要有两个，一个是spiderMiddleware(爬虫中间件)，一个是DownloaderMiddleware(下载中间件) 通常由于在请求对象和相应对象数据在下载中间件就能处理好，一般不会去使用爬虫中间件。 下载中间件主要用到的方法有三个： process_request
阅读全文
摘要：不推荐使用scrapy框架发送post请求，配置复杂，如果在数据量大 的情况下，可以通过如下代码来实现： 方法一：就是重写scrapy下面的start_requests方法 方法二：将URL链接写在外部，然后手动去发送请求 scrapy.FormRequest(url=url,formdata=da
阅读全文
