深度卷积神经网络在肿瘤上皮与间质识别中的图像特征学习研究笔记

Classification of Tumor Epithelium and Stroma by Exploiting Image Features Learned by Deep Convolutional Neural Networks
重点看方法，对实验背景以及相关医学知识不进行赘述

论文研究的问题：
1.CNN的底层还是高层包含NI（NI自然图像natural image）特征，在肿瘤上皮和间质分类中具有更好的识别能力？与CNN架构有什么关系？
2.到什么程度可以通过微调模型来提高分类性能？

实验数据集来自TMAD和OUHSC，预处理主要包括图像增强和子图像建立（epithelium和stroma patches）。图像对比度由MATLAB实现的标准自动对比度算法进行增强。为了准备用于训练和测试的子图像，我们在Definiens Developer XD中采用了多分辨率分割算法生成epithelium和stroma patches的超像素。将这些分割出来的子图像，输入深度学习模型，分类为epithelium和stroma patches。

共19748张超像素图片来自TMAD（每类9874），16444张来自OUHSC（每类8222）对于这两个数据集，利用Python中sklearn包中的train_test_split函数，将图像的总数随机分割为训练集和测试集，分割比为0.6:0.4，如下图所示。为了避免在模型开发过程中过度拟合，使用cross_val_score函数对模型性能进行预估。

本文使用的深度卷积神经网络包括四种：
AlexNet
Places365-AlexNet
GoogLeNet
two modified AlexNet models
两种不同的使用方式
第一种方法是直接使用模型计算在每一层包含NI特征集的输出，在架构的各个层次(包括低层、中层和高层CNN特征)，公正地选择了五组NI特征，因为对于哪一层应该包含更丰富、更容易概括的语义信息，还没有得出决定性的结论。
第二种方法执行端到端的微调(1000 iterations; base learning rate: 0.001, gamma: 0.1, momentum: 0.9, weight decay: 5e-04)，在进行了微调之后利用了中间层的特征集进行训练（AlexNet and Places365: L7; GoogLe- Net: L5; C1–C3: L3; C1–C5: L5)。通过对这些网络进行微调，使用了两种完全不同的迁移学习策略，NI-to-PI和 PI-to-PI，如下图所示。



在NI-to-PI中，我们通过自然图像分类任务优化初始权值，直接对数据集I上的网络进行微调，该任务涉及到从自然图像数据集到病理图像数据集的转移学习。对于PI-to-PI，我们利用NI-to-PI传递的初始权重对数据集II上的net- works进行了微调，其中源数据集和目标数据集都是病理图像数据集。
为了消除变异在多个分类器的性能,采用了四种不同的分类器，
Support vector machines (SVMs) for classification with a kernel that is ‘linear’ (SVClnr),
SVMs with an ‘rbf’ kernel (SVCrbf),
random forest (RF)
k-near- est neighbors (KNN)