机器学习 - CH10（降维与度量学习） - KNN 代表 "懒惰学习"，无需训练。训练开销为零。收到测试样本时，将对其进行处理。

  $Isomap$仅是得到了训练样本在低维空间的坐标，对于新样本，将高维空间坐标作为输入，低维空间坐标作为输出，训练一个回归学习器来对新样本的低维空间坐标进行预测。

  近邻图构建的两种方法：

1. 指定邻点个数，如欧氏距离最近的$k$个点为近邻点，$k$近邻图。
2. 指定距离阈值$\xi$,距离小于$\xi$的店被认为是近邻点，$\xi$近邻图。

10.5.2局部线性嵌入

  局部线性嵌入（Locally Liner Embedding，简称LLE）保持样本之间的线性关系。

  假定样本点$x_i$能通过邻域样本$x_j$,$x_k$,$x_l$的坐标经过线性组会重构：

10.6度量学习

  假定希望提高近邻分类器的性能，将$M$嵌入到评价指标中，优化该性能指标相应求$M$

  近邻分类器判别时通常用多数投票法（领域中1票，领域外0票）

  替换为概率投票法，对任意样本$x_j$对$x_i$分类影响的概率为：