【机器学习笔记】 15 机器学习项目流程-数据清洗

数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。

探索性数据分析(EDA

探索性数据分析（EDA）是一个开放式流程，我们制作绘图并计算统计数据，以便探索我们的数据。目的是找到异常，模式，趋势或关系。 这些可能是有趣的（例如，找到两个变量之间的相关性），或者它们可用于建模决策，例如使用哪些特征。简而言之，EDA的目标是确定我们的数据可以告诉我们什么！


IQR = Q3-Q1，即上四分位数与下四分位数之间的差，也就是盒子的长度。
最小观测值为min = Q1 - 1.5IQR，如果存在离群点小于最小观测值，则下限为最小观测值，离群点单独以点汇出。
最大观测值为max = Q3 +1.5IQR，如果存在离群点大于最大观测值，则上限为最大观测值，离群点单独以点汇出。如果没有比最大观测值大的数，则上限为最大值。

• 寻找关系
  为了查看分类变量 - categorical variables对分数的影响，我们可以通过分类变量的值来绘制密度图。 密度图还显示单个变量的分布，可以认为是平滑的直方图。 如果我们通过为分类变量密度曲线着色，这将向我们展示分布如何基于类别变化的。
  
  现在我们有了正确的列数据类型，我们可以通过查看每列中缺失值的百分比来开始分析。 当我们进行探索性数据分析时，缺失的值很好，但是必须使用机器学习方法进行填写。Pairs Plot是一次检查多个变量的好方法，因为它显示了对角线上的变量对和单个变量直方图之间的散点图。