西伯尔 - 博客园

2020年7月18日

摘要： 1.任务和挑战 2.数据集 3.评价标准 https://blog.csdn.net/ZXF_1991/article/details/104279387 4.估计方法 1,2,4参考：https://blog.csdn.net/anymake_ren/article/details/8197826 阅读全文

posted @ 2020-07-18 17:32 西伯尔阅读(132) 评论(0) 推荐(0) 编辑

读论文：人体姿态估计

摘要： 1.人体姿态估计与跟踪的简单基线方法（Simple Baselines for Human Pose Estimation and Tracking） 2.结合检测和跟踪进行视频中的人体姿势估计（Combining detection and tracking for human pose esti 阅读全文

posted @ 2020-07-18 07:22 西伯尔阅读(495) 评论(0) 推荐(0) 编辑

2020年7月17日

机器学习，模型——SVM

摘要： 1.思想该分类器的基本策略是保证不同类别的数据具有最大的分类间隔。 2.特点+适用条件由于这类求间隔最大化的问题往往可以转化为凸二次规划问题, 因此与神经网络、随机森林和决策树等工具相比，SVM 可以在数据量较少的情况下快速得到需要的分类器，这一特性降低了数据积累的要求，同时减少了人工设置标签的阅读全文

posted @ 2020-07-17 14:57 西伯尔阅读(172) 评论(0) 推荐(0) 编辑

2020年7月16日

机器学习面试题

摘要： 1.哪些机器学习算法不需要做归一化处理？概率模型不需要归一化，因为它们不关心变量的值，而是关心变量的分布和变量之间的条件概率，如决策树、RF。而像Adaboost、GBDT、XGBoost、SVM、LR、KNN、KMeans之类的最优化问题就需要归一化。 2. 为什么XGBoost要用泰勒展开阅读全文

posted @ 2020-07-16 22:41 西伯尔阅读(171) 评论(0) 推荐(0) 编辑

机器学习，数据——数据集不平衡处理

摘要：一、概述 1.处理方法总结（1）不平衡数据集通常情况下通常情况下把多数类样本的比例接近100:1这种情况下的数据称为不平衡数据。不平衡数据的学习即需要在分布不均匀的数据集中学习到有用的信息。（2）不平衡数据集的处理方法主要分为两个方面 1、从数据的角度出发，主要方法为采样，分为欠采样和过采样以阅读全文

posted @ 2020-07-16 21:35 西伯尔阅读(1815) 评论(0) 推荐(0) 编辑

2020年7月14日

Scala+IntelliJ IDEA

摘要：参考： https://www.cnblogs.com/williamjie/p/9317565.html 刚开始建立新项目时，会出现缺包找不到类满篇红线等各种问题，要么换仓库，要么等，下载下来就OK了。阅读全文

posted @ 2020-07-14 19:50 西伯尔阅读(113) 评论(0) 推荐(0) 编辑

Spark学习（三）Spark实验+win10

摘要：原Linux实验网址：http://dblab.xmu.edu.cn/blog/1757-2/ 实验一: spark的基础使用 1.数据载入部分在本地 (可以是虚拟机,也可以是真实操作系统,需要在包含spark-hadoop的环境下) 创建一个文本peopleinfo.txt 1 F 170 2 阅读全文

posted @ 2020-07-14 12:16 西伯尔阅读(790) 评论(0) 推荐(0) 编辑

Spark学习（二）win10部署Hadoop+Spark

摘要： 1.Hadoop （1）安装配置基础只需要配置core-site.xml和hdfs-site.xml就行。参考： https://www.jianshu.com/p/aa8cfaa26790【这个教程的core-site.xml和hdfs-site.xml的内容弄反了，交换一下就行】 http: 阅读全文

posted @ 2020-07-14 10:21 西伯尔阅读(525) 评论(0) 推荐(0) 编辑

Spark学习（一）Spark术语、概念理解

摘要： 1.RDD （1）RDD产生背景为了解决开发人员能在大规模的集群中以一种容错的方式进行内存计算，提出了 RDD 的概念，而当前的很多框架对迭代式算法场景与交互性数据挖掘场景的处理性能非常差, 这个是RDDs 的提出的动机。（2）什么是 RDD RDD 是 Spark 的计算模型。RDD（Resi 阅读全文

posted @ 2020-07-14 02:39 西伯尔阅读(376) 评论(0) 推荐(0) 编辑

2020年7月13日

Spark任务调度和资源分配

摘要： 1.Spark Context 向集群申请的资源具体有哪些? 内存和CPU。 2.Spark Context 通过什么配置方式向集群申请这些资源?或者说如何调节这些资源的数量? spark的分配资源主要就是 executor、cpu per executor、memory per executor、阅读全文

posted @ 2020-07-13 11:13 西伯尔阅读(359) 评论(0) 推荐(0) 编辑