07 2020 档案
摘要：STL简介 为了建立数据结构和算法的一套标准，并且降低他们之间的耦合关系，以提升各自的独立性、弹性、交互操作性(相互合作性,interoperability),诞生了STL。 STL提供了六大组件，彼此之间可以组合套用，这六大组件分别是:容器、算法、迭代器、仿函数、适配器（配接器）、空间配置器。 容
阅读全文
摘要：一、知乎总结： 1）string类介绍 2）容器操作 3）修改 4）查找 5）比较 https://zhuanlan.zhihu.com/p/136244569 二、常用操作 C风格字符串： C风格字符串初始化 C风格字符串常见操作 string类： string类初始化 string类常见操作 C
阅读全文
摘要：GBDT原理和推导：https://blog.csdn.net/yangxudong/article/details/53872141 Pyspark 分类、回归、聚类示例： https://blog.csdn.net/littlely_ll/article/details/78151964 htt
阅读全文
摘要：GBTRegressor 模型评估指标和特征重要度分析 官方文档：https://spark.apache.org/docs/2.2.0/api/python/_modules/pyspark/ml/regression.html 和随机森林类似，训练好model 可用如下代码打印特征以及重要度排序
阅读全文
摘要：1. 外部表（external table） 有external修饰，表数据保存在HDFS上，该位置由用户指定。删除表时，只会删除表的元数据，所以外部表不是有Hive完全管理的 2. 内部表(internal table/managed table) 没有external修饰，表数据保存在Hive默
阅读全文
摘要：1、数据迁移过程中，验证数据拷贝后大小是否一致； shell命令： hadoop fs -count -q 目录 ps： 查看目录下总的大小 dfs -count -q 目录 ps：一样的 hadoop fs -du 目录 ps：查看目录下每个子目录的大小 2、随机森林和GBDT的区别 https:
阅读全文
摘要：Python3 面向对象 https://www.runoob.com/python3/python3-class.html Python3 数据结构 https://www.runoob.com/python3/python3-data-structure.html Python3 函数 http
阅读全文
摘要：maven其实是有一个默认的仓库.m2仓库和默认的settings.xml配置文件，我们在这个默认的settings.xml文件中也添加了一个JAVA8_HOME的变量后，编译就通过了，这就说明，maven编译的时候找的不是我在idea中配置的我自定义的settings.xml，而是先找的它默认的那
阅读全文
