摘要： 1. 安装python2x， python3x 2. python2x、python3x 目录下 python.exe > python2.exe python3.exe 3. 添加python2x 和 python3x 到环境变量，分号隔开 4. 删除python2和python3 Lib/sit 阅读全文

摘要： 下文中的部分例子来源于《hive学习指南》和易百教程，但是总结大部分是自己写的。 hive　官方文档： https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-AlterTablePr 阅读全文

摘要： 这个坑肯可能是在java操作hive 和 python操作hive都会遇到的配置问题 如下解决方法： 1.配置 hive-site.xml # 这里用户名为什么是hadoop，因为我用用户“hadoop”启动的集群， # passwd是用户设定的密码， 具体原理（“即你用哪个linux用户启动had 阅读全文

摘要： 本来windows装个docker 搞一下 python gridstudio的，结果电脑开不了Hyper-V服务，每次重启更新配置到85%就配置失败回滚了，但是docker又需要Hyper-V ，死循环了。。。那就在虚拟机搞个docker吧， 然后之前修改了个vmware的安装路径。。。。。。。。 阅读全文

摘要： Excel高级功能还是不太懂，如数据透视表、函数等。 在数据处理方面， 既然Excel能做的，那当然Python的pandas应该也能完成。总结下Pandas是如何完成数据透视表和交叉表的。 数据透视表 数据透视表是一种常见的数据汇总工具，根据一个或者多个键对数据进行聚合，并根据行、列分组将数据分配 阅读全文

摘要： 学习kaggle输出处理整个总结，以下图、代码都来自于kaggle 的micro-course 缺失值处理 共有三种方法： 丢弃缺失值所在的行（当缺失值较多时，影响比较大，不常用此方法） 如下代码，找到任意含有缺失值的行，凡是含有确实值都从DataFrame中去掉。下面还有使用Random Fore 阅读全文

摘要： 最近才开始看《深度学习》草丛书， 现在写下ML中需要用到的线性代数的概念 一、数学概念 标量、向量、矩阵和张量 标量： 一个单独的数。 介绍标量时，会明确这个数是数据什么数， “令x属于R（实数）表示一条直线的斜率” 向量：一列数， 这列数是有序排列的名。可以根据数据顺序来确定数字，可以理解为jav 阅读全文

摘要： 一、概率论基础 ML中的概率论基础概念 概率: 概率再机器学习中是处理不确定性。 概率: 概率再机器学习中是处理不确定性。 不确定性产生的三种来源： （1）建模系统存在随机性 （2）不完全观测: 确定的系统，但是观测值不完全，因为有些值时不可能完全观测到的。 （3）不完全建模：可以理解建模时候，舍弃 阅读全文

摘要： numpy中axis表示轴的意思， 在某些函数（如sum，exp）中axis的值不同，计算方式不同，不理解axis的使用方法和含义，就不能用好numpy处理数据。 用示例讲解axis的含义： arrs = np.arange(24).reshape((3,2,4)) print arrs print 阅读全文

摘要： bash常用快捷键 Tab ： 补全 Ctrl + r ： 搜索历史记录 Ctrl + w：删除最后一个单词 Ctrl + u：删除光标之前内容 ctrl + k： 删除光标到行尾内容 alt + b /f ：以单词为单位，移动光标 ctrl + a/e : 光标移动到行首/行尾 ctrl + l 阅读全文