将Android中的YUV_420_888编码Image转换为I420和NV21格式的byte数组
转载自：Penguin
Android: convert YUV_420_888 image format Image to YUV420Planar (I420) and YUV420SemiPlanar (NV21) color format byte array (raw file).
背景
代码思路来自Android CTS，出处见参考
从Android SDK 21开始，Android就开始推行新的原始（未压缩）图片数据的载体类Image，和新的YUV格式YUV420Flexible，配套YUV_420_888，用来统一Android内部混乱的中间图片数据（这里中间图片数据指如各式YUV格式数据，在处理过程中产生和销毁）管理。主要体现在两个方面：其一，新的Camera2把以前的Cameradeprecated掉了，而Camera2输出的帧信息就采用的Image，默认格式为YUV_420_888；其二，硬件编解码的MediaCodec类加入了对Image和Image的封装ImageReader的全面支持，并推荐采用YUV420Flexible进行编解码。
但YUV420Flexible是一类YUV格式的集合（后面会简单介绍），怎么从其中得到确定的YUV格式如YUV420Planar(I420)和YUV420SemiPlanar(NV21)呢？Android没有提供现成的方法，只能靠自己实现啦。不过还好，我在Android的CTS测试的代码中找到了一些蛛丝马迹，最后实现了这样一个通用的转换方法。
本方法适用于绝大部分YUV420Flexible格式的转换，对于1920x1080的图片，能够在30ms内完成转换
思路
关于YUV420和Image的介绍，参见Android: Image类浅析(结合YUV_420_888)。
思路实际上很简单，就是从Image中得到YUV分量的颜色数据，再按指定格式拼起来，就是想要的结果了。麻烦的地方就是如何获取U和V分量了，如上链接中专门谈到了这个问题。
实现
转换
代码
Java
private static final int COLOR_FormatI420 = 1;
private static final int COLOR_FormatNV21 = 2;
private static boolean isImageFormatSupported(Image image) {
int format = image.getFormat();
switch (format) {
case ImageFormat.YUV_420_888:
case ImageFormat.NV21:
case ImageFormat.YV12:
return true;
}
return false;
}
private static byte[] getDataFromImage(Image image, int colorFormat) {
if (colorFormat != COLOR_FormatI420 && colorFormat != COLOR_FormatNV21) {
throw new IllegalArgumentException("only support COLOR_FormatI420 " + "and COLOR_FormatNV21");
}
if (!isImageFormatSupported(image)) {
throw new RuntimeException("can't convert Image to byte array, format " + image.getFormat());
}
Rect crop = image.getCropRect();
int format = image.getFormat();
int width = crop.width();
int height = crop.height();
Image.Plane[] planes = image.getPlanes();
byte[] data = new byte[width * height * ImageFormat.getBitsPerPixel(format) / 8];
byte[] rowData = new byte[planes[0].getRowStride()];
if (VERBOSE) Log.v(TAG, "get data from " + planes.length + " planes");
int channelOffset = 0;
int outputStride = 1;
for (int i = 0; i < planes.length; i++) {
switch (i) {
case 0:
channelOffset = 0;
outputStride = 1;
break;
case 1:
if (colorFormat == COLOR_FormatI420) {
channelOffset = width * height;
outputStride = 1;
} else if (colorFormat == COLOR_FormatNV21) {
channelOffset = width * height + 1;
outputStride = 2;
}
break;
case 2:
if (colorFormat == COLOR_FormatI420) {
channelOffset = (int) (width * height * 1.25);
outputStride = 1;
} else if (colorFormat == COLOR_FormatNV21) {
channelOffset = width * height;
outputStride = 2;
}
break;
}
ByteBuffer buffer = planes[i].getBuffer();
int rowStride = planes[i].getRowStride();
int pixelStride = planes[i].getPixelStride();
if (VERBOSE) {
Log.v(TAG, "pixelStride " + pixelStride);
Log.v(TAG, "rowStride " + rowStride);
Log.v(TAG, "width " + width);
Log.v(TAG, "height " + height);
Log.v(TAG, "buffer size " + buffer.remaining());
}
int shift = (i == 0) ? 0 : 1;
int w = width >> shift;
int h = height >> shift;
buffer.position(rowStride * (crop.top >> shift) + pixelStride * (crop.left >> shift));
for (int row = 0; row < h; row++) {
int length;
if (pixelStride == 1 && outputStride == 1) {
length = w;
buffer.get(data, channelOffset, length);
channelOffset += length;
} else {
length = (w - 1) * pixelStride + 1;
buffer.get(rowData, 0, length);
for (int col = 0; col < w; col++) {
data[channelOffset] = rowData[col * pixelStride];
channelOffset += outputStride;
}
}
if (row < h - 1) {
buffer.position(buffer.position() + rowStride - length);
}
}
if (VERBOSE) Log.v(TAG, "Finished reading data from plane " + i);
}
return data;
}
分析
代码有些长，慢慢分析。首先判断格式是否支持，ImageFormat中只支持YUV_420_888、NV21以及YV12。
channelOffset指分别将每个分量数据写入到byte[]中时的初始偏移量，outputStride则是专门为NV21准备的，用来指定写入数据的间隔，即步长。
接下来对每个分量进行处理，对于每个分量，首先通过一个switch确定在不同分量和不同输出格式情况下的channelOffset和outputStride；I420很容易，对于NV21，由于UV分量交错存储，且V分量在前，所以U的channelOffset比V大1，且两者的outputStride都是2。
再往下就是获取到分量的ByteBuffer、rowStride和pixelStride。然后根据CropRect定位到第一个颜色值点，CropRect可以理解为图片中指定的一个矩形区域，需要输出的是这个矩形区域的图片数据，注意由于YUV420中U和V的采样数目比Y少，在确定第一个点时也要单独考虑。
再接下来就是逐行获取颜色数据，然后写入到输出的byte[]中，比较简单不需要过多解释。
写入文件
YUV
得到转换后的byte[]后就可以直接写入到文件了，比如一个通用的写入方法
Java
private static void dumpFile(String fileName, byte[] data) {
FileOutputStream outStream;
try {
outStream = new FileOutputStream(fileName);
} catch (IOException ioe) {
throw new RuntimeException("Unable to create output file " + fileName, ioe);
}
try {
outStream.write(data);
outStream.close();
} catch (IOException ioe) {
throw new RuntimeException("failed writing data to file " + fileName, ioe);
}
}
注意：由于YUV格式文件仅包含颜色数据，应当在.yuv文件名中标注出分辨率（和格式）信息
JPEG
没错，你还可以将得到的byte[]保存为JPEG格式，不可思议吧？
我们借助于YuvImage类的compressToJpeg()方法，这个方法借助Android的JNI，实现了非常高效率的JPEG格式文件写入（比Bitmap.compress()效率都要高不少），我这里测试可以在30ms完成整个JPEG写入过程。
Java
private void compressToJpeg(String fileName, Image image) {
FileOutputStream outStream;
try {
outStream = new FileOutputStream(fileName);
} catch (IOException ioe) {
throw new RuntimeException("Unable to create output file " + fileName, ioe);
}
Rect rect = image.getCropRect();
YuvImage yuvImage = new YuvImage(getDataFromImage(image, COLOR_FormatNV21), ImageFormat.NV21, rect.width(), rect.height(), null);
yuvImage.compressToJpeg(rect, 100, outStream);
}
注意：YuvImage目前仅支持NV21和YUY2格式。且通过分析其C++实现代码，和ffmpeg对生成.jpg图片的解析发现，compressToJpeg()并没有进行YUV向RGB的转化，也就是说重新解码生成的.jpg文件，可能不会得到像素点的RGB信息。
效果
对于YUV，将数据写入到文件后就可以通过YUV查看软件直接打开了。如果你打开不显示或不能正确显示图片，记得在软件中手动设置图片的大小和格式信息。效果如下图所示
对于JPEG，可以直接双击打开。效果如下图所示
参考
- Image | Android Developers
- ImageFormat | Android Developers
- Image.Plane | Android Developers
- MediaCodecInfo.CodecCapabilities | Android Developers
- tests/tests/media/src/android/media/cts/ImageReaderDecoderTest.java - platform/cts - Git at Google
- YuvImage | Android Developers
- platform_frameworks_base/YuvImage.java at master · android/platform_frameworks_base
- platform_frameworks_base/YuvToJpegEncoder.cpp at master · android/platform_frameworks_base
- Android Yuv图像转jpg方法 - - ITeye技术网站