【529】MT | 相关算法

Apriori 算法

• 参考：B站视频讲解
• 参考：文本讲解-刘建平
• 参考：文本讲解-简书
• 参考：【十大经典数据挖掘算法】系列之 Apriori 算法

 

Geohash 算法

• 参考：Geohash算法原理及实现
• 参考：Geohash精度和原理
• 参考：GeoHash核心原理解析
• geohash9: 大约 4m * 4m 的网格
• Geohash8: 大约 17m * 17m 的网格

 

DBSCAN 算法

• 通过计算空间密度聚类，去除掉噪声
• 空间邻域就是指距离中心点一定范围内的点的集合
• $\epsilon$：邻域半径，内部为考虑范围
• $MinPts$：最少的点的个数，阈值
• 参考：密度聚类之DBSCAN及Python实现 
• 参考：DBSCAN密度聚类算法-刘建平
• 参考：用 scikit-learn 学习 DBSCAN 聚类

　　利用大圆距离计算，需要构建大圆距离矩阵：

　　参考：DBSCAN for clustering of geographic location data

　　参考：官方示例 - Demo of DBSCAN clustering algorithm

• 结果中为 -1 的点就被认为是噪声点，其他点则为聚类的点
• 如果只有 -1，说明所有的点都比较离散
• 如果只有 0，说明这些点很聚集

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42

from math import radians, cos, sin, asin, sqrt    def geodistance(lon1, lat1, lon2, lat2): # 经度1，纬度1，经度2，纬度2 （十进制度数）     """     Calculate the great circle distance between two points     on the earth (specified in decimal degrees)     """     # 将十进制度数转化为弧度     lon1, lat1, lon2, lat2 = map(radians, [lon1, lat1, lon2, lat2])        # haversine公式     dlon = lon2 - lon1     dlat = lat2 - lat1     a = sin(dlat/2)**2 + cos(lat1) * cos(lat2) * sin(dlon/2)**2     c = 2 * asin(sqrt(a))     r = 6371 # 地球平均半径，单位为公里     return c * r * 1000   # 构建距离矩阵 # 每个点之间的 great_circle 距离   def get_distance_matrix_from_array(points_array):     num = len(points_array)     distance_matrix = np.zeros((num, num))     for i in range(num):         for j in range(num):             if i == j:                 continue             lng1, lat1 = points_array[i]             lng2, lat2 = points_array[j]             dis = geodistance(lng1, lat1, lng2, lat2)             distance_matrix[i][j] = dis     return distance_matrix   from sklearn.cluster import DBSCAN   distance_matrix = get_distance_matrix_from_array(coords)   clusters = DBSCAN(eps=2,                   min_samples=2,                   metric='precomputed'                  ).fit_predict(distance_matrix)

 

Isolation Forest - 孤立森林

• 将数据按照超平面进行切割，越容易切割出来的点，就越可能是异常点，从而来查找异常值
• 参考：浅谈孤立森林算法
• 参考：【异常检测】孤立森林（Isolation Forest）

 

R Tree 算法

• 参考：什么是R树？ - 七月在线 七仔的文章 - 知乎 https://zhuanlan.zhihu.com/p/62639268
• 参考：一文详解:什么是B树?
• 参考：知道什么是B树,那你知道什么是R树吗?

 

OPTICS 聚类算法

• 参考：OPTICS 聚类算法原理

 

层次聚类（Hierarchical Clustering）算法

• 参考：层次聚类算法的原理及实现Hierarchical Clustering

 

HDBSCAN 算法

• 参考：【Python】hdbscan安装失败的解决
  
  • 安装 anaconda，建议通过 清华镜像 安装
  • 安装后可以安装很多 Python 的工具
  • 重新打开终端，直接可以使用 conda 命令
  • 然后按照参考里面的命令输入即可，conda install hdbscan 成功

---

 

convexHull，计算凸包

• 参考：Scipy空间--计算凸包(convexHull)

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

# -*- coding: utf-8 -*-   import matplotlib.pyplot as plt import numpy as np from scipy.spatial import ConvexHull ##########scipy 凸包################ points = np.random.rand(30, 2) hull = ConvexHull(points) plt.plot(points[:,0], points[:,1], 'o') # hull.vertices 得到凸轮廓坐标的索引值，逆时针画 hull1=hull.vertices.tolist()#要闭合必须再回到起点[0] hull1.append(hull1[0]) plt.plot(points[hull1,0], points[hull1,1], 'r--^',lw=2) for i in range(len(hull1)-1):     plt.text(points[hull1[i],0], points[hull1[i],1],str(i),fontsize=20)     # 得到外边缘线的索引值 hull.vertices.tolist() # 索引值需要回到第一个值，然后将其收尾相连 # 如果是绘制polygon的话，则不需要