聚类评估

聚类作为无监督学习任务，缺乏真实的标签信息，因此评估聚类质量是一个具有挑战性的问题。聚类评估方法主要分为内部评估和外部评估两大类。

外部评估

外部评估需要利用数据的真实标签（ground truth）来评价聚类结果与真实类别的匹配程度。

衡量聚类结果与真实标签在样本对上的划分一致性：

R I = \frac{TP + TN}{TP + FP + FN + TN}

其中 TP/TN 表示正确一致/不一致的样本对数量，FP/FN 表示错误一致/不一致的样本对数量。

兰德指数的校正版本，考虑了随机划分的期望值，取值范围为 [-1, 1]：

A R I = \frac{R I - E [ R I ]}{ma x ( R I ) - E [ R I ]}

衡量聚类结果与真实标签之间的互信息量，通常在 [0, 1] 之间取值。

内部评估不依赖真实标签，仅通过数据本身的几何特性和聚类结果来评估聚类质量。

综合考虑簇内紧密性和簇间分离度。对于样本 $i$ ：

s (i) = \frac{b ( i ) - a ( i )}{max { a ( i ) , b ( i )}}

其中 $a (i)$ 为样本 $i$ 与同簇其他样本的平均距离（簇内不相似度）， $b (i)$ 为样本 $i$ 与最近邻簇样本的平均距离（簇间不相似度）。轮廓系数取值范围为 [-1, 1]，值越大表示聚类效果越好。

衡量任意两个簇之间的相似度，值越小表示聚类效果越好：

D B I = \frac{1}{K} i = 1 \sum K j \neq = i max (\frac{σ _{i} + σ _{j}}{d ( c _{i} , c _{j} )})

通过绘制簇数K与目标函数值（如簇内平方和）的关系图，寻找曲线拐点（肘部）对应的K值作为最佳簇数。