彻底弄懂I420格式_LceChan的博客-
最后更新 :2022-12-31 21:20:49
YUV的概念 YUV 和我们熟知的 RGB 类似,是一种颜色编码格式。它主要用于电视系统和模拟视频邻域(如 Camera 系统)。YUV 包含三个分量,其中 Y 表示明亮度(Luminance 或 Luma),也就是灰度值。而 U 和 V 则表示色度(Chrominance 或 Chroma),作用是描述图像色彩及饱和度,用于指定像素的颜色。没有 UV 分量信息,一样可以显示完整的图像,只不过是黑白的灰度图像。YUV 格式的好处是很好地解决了彩色电视机与黑白电视机的兼容问题(当只要Y分量时就是黑白图像)。YCbCr,YPbPr等专有名词都可以称为YUV。
YUV的格式 YUV的格式取决采样方式
YUV的采样方式 4:4:4表示完全取样(每一个Y对应一组UV分量) 4:2:2表示2:1的水平取样,垂直完全采样(每两个Y共用一组UV分量) 4:2:0表示2:1的水平取样,垂直2:1采样(每四个Y共用一组UV分量) 4:1:1表示4:1的水平取样,垂直完全采样(每四个Y共用一组UV分量) YUV的存储格式 我们主要关心的是如何处理YUV数据,所以最关心的是YUV数据的存储格式。内存中存储的方式包括两种:
planar 格式:先连续存储所有像素点的 Y 分量,紧接着存储所有像素点的 U 分量,再是V分量(当然不同存储格式的UV的先后顺序是不一样的,如I420的V在U后,YV12则是U在V后)。
packed 格式:每个像素的Y,U,V分量交替存储。
Y,U,V分量存储时的先后顺序的不同,代表了不同的格式,以下列出了几种常见的YUV格式:
YUYV(属于YUV422)
?
两个Y共用一组UV分量。Y,U,V分量交替存储。
UYVY(属于YUV422)
可以看到与YUYV的分量的顺序不一样。?
YUV422P(属于YUV422)
是Planar存储模式,依次是Y,U,V。U分量在V分量之前 YUV420 根据U分量和Y分量的位置不同,也分为几种类型,常见的如下:
YV12(属于YUV420)
是Planar存储模式,依次是Y,V,U。V分量在U分量之前。
NV12(属于YUV420)
?
先是Y,在是U,V分量交替出现
一个简易存储示意图
I420: YYYYYYYY UU VV =>YUV420P
YV12: YYYYYYYY VV UU =>YUV420P
NV12: YYYYYYYY UVUV =>YUV420SP
NV21: YYYYYYYY VUVU =>YUV420SP
YUV420sp与YUV420p的不同之处在,存储UV分量时,YUV420sp中的UV分量是交替存储。
处理I420 I420属于YUV420P(存储格式为Planar),先是Y分量,再依次是U分量,V分量
这种格式很常用,在x264/265的中要求传入的源数据就是这种格式。在libyuv中,进行YUV图像处理(缩放,剪切,旋转)也是要求以这种格式传入。ffmpeg解码h264/265后数据也是这种格式。这种格式也可以直接通过D3D,OpenGL进行渲染。
计算占用的字节大小 一个分量占用一个字节,每一个象素点对应一个Y分量,四分之一个U分量,四分之一个V分量。所以分辨率为w*h的I420格式,Y的字节数为 w*h, U的字节数为w*h/4,V的字节数大小为w*h/4,总字节数即为w*h*3/2。
定位像素数据 要处理I420的数据,首先要能定位到像素分量数据。一个典型的场景是,通过freetype在YUV图像上加字幕时,这是需要将指定坐标点的像素替换为freetype返回的字体图数据。
那么下面是取像素点YUV(I420格式)分量数据的公式(Planar存储方式):
size.total = size.width * size.height;
y = yuv[position.y * size.width + position.x];
u = yuv[(position.y / 2) * (size.width / 2) + (position.x / 2) + size.total];
v = yuv[(position.y / 2) * (size.width / 2) + (position.x / 2) + size.total + (size.total / 4)];
size.width/2为U分量和Y分量的步长
转一张很直观的I420存储的示意图。Y,U,V相同颜色的表述是同一像素的分量。可以结合这个图套用上面的公式推算一下:
一种常用的YUV数据表示方法
如果直接分配一段内存用以存储图像数据(比如I420格式),是没法知道这段内存的YUV分量特点的(每个分量的数据起始及长度)。那么我们可以下面这种方式定义数据结构来解释存储结构:
enum enImageFmt
{
enImageFmt_YUV420P
...
};
struct ImageSize
{
int iWidth;
int iHeight;
};
struct VideoFrame
{
//Image的格式
enImageFmt fmt;
//图像的分辨率
ImageSize Size;
//分别指向Y,U,V分量的开头
unsigned char *data[3];
//分别指示Y,U,V分量一行(步长)数据大小
unsigned short linesize[3];
}
//如下的一个示例代码
//指针pImage指向一幅YUV420P格式的图像,通过该结构体指示它的内存结构
VideoFrame frame;
frame.fmt = enImageFmt_YUV420P;
frame.Size.w = w;
frame.Size.h = h;
//Y分量的步长
frame.linesize[0] = w;
//U分量的步长(其长度就是Y分量步长的一半,同理V分量)
frame.linesize[1] = w/2;
//V分量的步长
frame.linesize[2] = w/2;
//那么data[0]指向的就是Y数据的起始
frame.data[0] = (unsigned char*)pImage;
//U数据的起始
frame.data[1] = frame.data[0] + frame.linesize[0]*h;
//V数据的起始
frame.data[2] = frame.data[1] + frame.linesize[1]*h/2;
该结构体不止可以指示YUV420P的结构,也可以指示其它YUV格式的结构。在ffmpeg中也有类型的结构定义。
总结:
虽然主要是讲解的如果处理I420格式,但是前面介绍了几种不同YUV的存储格式。可以结合存储示意图,类推出如何处理其它YUV格式数据。
?
?
- END -
doris(doris中文翻译)
doris鞋子是什么档次?Doreen,Doris这俩名字大家觉得哪个更好听?我想知道doris这个名字的含...
玛丽亚古琦(这部《轻奢人生实用指南》告诉你:真正的奢侈品是什么)
近几年,对于“美”的追求似乎愈发绝对化,减肥、瘦身等维持容貌的话题经常登上热搜,整容、医...