智能显示技术在淘宝封面图像中的应用
背景
随着互联网的发展我们每天都在面临信息过载的问题,大量的资讯新闻,商品促销信息从互联网各个渠道涌到用户的屏幕上。无论在电商卖货场景还是短视频和图片场景一张制作精美的封面再配上吸引眼球的文案将大大提升内容被点击的概率。但是制作一张高质量的封面图素材还是有很高的门槛,首先是选图,然后还需要图像裁剪美化,最后配上文案。智能展示技术就是利用算法自动为特定场景生产高质量封面素材简化运营成本。
智能展示技术可以理解为通过图像和自然语言处理算法理解图文和视频,从原有内容中选择并加工最吸引人的部分进行分发提升CTR和用户时长。从产出的内容类型可以分为图片素材生产(静态封面图),视频素材生产(动态封面图),3D,VR/AR等。
智能展示技术现状
智能展示技术和计算机视觉、NLP技术,以及推荐算法的发展紧密相关。早在2017年Netflix就开始尝试为剧集提供不同的封面图,做封面个性化分发,比如某个电影里有成龙,李连杰,给喜欢成龙的人推荐有成龙的封面,为喜欢李连杰的推荐有李连杰的海报。实现这一功能,需要人脸识别技术和个性化分发算法的配合。
智能展示的重中之重是自动封面图生产,谷歌在2015年开始用深度学习为Youtube视频自动选择封面图,优化推荐视频的点击率。国内长视频平台,优爱腾也都上线了基于人脸、美学模型等算法的智能封面图服务。现在视频行业又在往视频摘要,动态封面图等领域发展。在体育赛事平台,也出现了智能集锦,自动识别比赛的精彩片段并且配上文案进行快速的生产分发。
在电商平台,如淘宝也出现很多中台解决智能生产问题,比如鹿班平台可以自动做商品主图合图,结合商家上传的基础图结合促销等信息自动生成淘宝内展示的主图,该平台还提供高质量的抠图算法,可以辅助人工快速制作白底图。淘宝内容互动团队提供了智能动态封面图算法,可从商家上传的短视频中提取最精彩的一段作为视频封面图。
随着智能展示技术的发展,目前遇到的问题大概可以分几种:
- 问题定义不清楚:比如高质量的封面图怎么定义,清晰的,漂亮的,有吸引力的,这种偏主观的目标使用哪些技术来识别。
- 业务需求和技术实现不匹配:某些业务的指标是ctr,有些指标是时长,针对不同指标生产的素材也是不一样的,例如视频摘要业务需要包含视频的主要情节以满足时长指标,而封面图则不用考虑情节完整性,反而需要做些悬疑以吸引人点击。
- 算法能力上限不足:计算机视觉里很多算法还达不到人的能力,目前coco数据集上最强的检测算法MAP还不到80; 图像清晰度判断模型容易受背景虚化等特效的影响;美学模型的数据集比较小,缺乏普遍性。
下面介绍一下我们团队在淘宝智能素材生产上的一些案例。
图像创意展示
图片是我们使用最多的展示素材,高质量的图像无疑在各个应用场景下都会带来更好的用户体验,比如长/短视频平台,电商场景,直播场景。面对大量的图像,首先需要一个质量评估阶段,筛选出低质量的部分,过滤掉这部分或者使用算法提升这部分图像的质量。然后针对非低质部分的图像,有针对性的做图像编辑提升展示效果。下图为图像生产的流程图。
有好货频道以高品质商品为卖点吸引用户,优质的商品需要高质量的展示图片,该场景比较适合作为图像展示技术落地点,我们的技术在有好货场景上线并进行多个AB测试,自动构图和图像增强技术分别有1-2%以上的ctr提升。下图是有好货入口,一跳和二跳页面。
低质图像评估
低质图像的标准包括图像清晰度,是否有牛皮癣(logo,水印)等。有好货业务场景主打逼格体验,所以低质图像评估还需要考虑背景是否杂乱。标准虽然很多,但是大致分为两类,一类是整体打分,一类是局部检测。根据业务侧反馈的情况,牛皮癣问题和模糊问题占比是最大的,目前我们主要解决这两类问题。牛皮癣图像示例如下,主要以文字为主,我们使用文本检测模型将文字区域检测出来,由于商品图包装上可能会自带文字,还加了一个后处理,只考虑图像四周区域检测出的文字,该策略降低了牛皮癣的召回率,但是精确率大幅提升,符合业务对保精确率的要求。
模糊检测复用了动态封面图中的模块,具体见下面说明。
自动构图
自动构图技术包括识别出图像中的要素,然后裁剪实现要素的合理布局。为什么要做自动构图呢?
淘宝app前端展示图片时对图像的长宽比有要求,比如需要正方性或者4:3的长方形,如果原图不符合该比例,前端会自动居中裁剪出该比例的图像,这时候可能存在将图像主体裁剪掉部分的危险。另外有些原图中主体可能过小,通过自动构图还可以起到突出主体的作用。
自动构图技术首先需要识别画面中的主体,淘宝中的商品类别多种多样,想通过物体检测识别出主体所在的bbox难度比较大,观察有好货的图片发现商品在图像中是比较显著的,于是我们通过显著性检测来识别主体所在区域。
显著性检测是模拟人眼对视野中的画面能够迅速捕捉到最显著部分,这种视觉显著性和物体类别以及物体在画面中的位置都有关系。不同于通用物体检测,显著性检测数据集无需类别,而类似图像分割,GT是一个张mask,显著性算法的结果也是一个mask,然后通过求外接矩形可以获取bbox。
我们使用的是CPD(Cascaded Partial Decoder for Fast and Accurate Salient Object Detectio)显著性检测算法,该算法在保证精确达到SOTA水平的同时计算效率也非常高,下图(a)是比较常见的显著性检测算法,提取网络结构的浅层和深层特征,并对这些特征进行反卷积,然后融合得到最终的显著性图,(b)是CPD算法的流程,作者实验发现前两层特征对结果的提升几乎没有影,但是却花费很多计算时间。CPD直接从第3层的feature开始,然后通过HAM全局注意力模块提升结果的完整性。
利用显著性检测,我们实现了对有好货封面图的三种自动构图:主体突出裁剪,1:1裁剪,4:3裁剪,满足有好货场景下对不同长宽比图像的需求。
图像增强
自动构图是处理图像空间问题,图像增强是为了让画面看起来更加有质感,逼格更高。
常用的图像增强技术有超分,图像修复,我们在此基础上还实验了人物背景虚化,模拟手机人像功能。
图像分割是计算机视觉的经典问题,近几年随着HRNet这种强大的backbone的出现以及数据集的增长,人像分割的效果已经逐步达到可用的程度。我们基于FCN经典全卷积网络和HRNet backbone训练人像分割然后结和图像matting技术实现人像抠图,然后对背景进行模糊处理达到背景虚化的效果。
图像修复主要用在老照片还原,比如下图所示多年之前拍摄的图像清晰度低,画面有许多噪点,颜色失真。图像修复包括多个任务,比如清晰度提升,区域修复,颜色校正等。我们使用Bringing Old Photos Back to Life论文中的方法,基于双VAE(variational autoencoder)学习合成的老照片到原图的映射函数。
下图为图像修复的效果,相比原图清晰度和颜色都更加逼真。
视频5s动态封面图
短视频内容在淘内占比越来越多,视频的开头是一些预定义好的片头,比如商家logo,视频软件特效等,无法在视频开头给予用户一个直观且吸引眼球的效果。众所周知一张好的视频封面图往往会提升视频点击率,而动态封面图可以提供更加丰富的信息。首猜短视频自动播放时如果先播视频里最有价值的部分,那么这次曝光带来的转化会更好。因此我们搭建一套智能动态封面图生产算法,来帮助商家选取这样的动态封面提升视频内容的投放效率。
动态封面图项目经历了几个阶段:
- 基于经验知识的无监督生产:根据美观度,清晰度,相关性等几个维度打分,结合镜头切分来生产;
- 通过线上的A/B测试收集用户行为数据,然后基于pair-wise learning学习视频的highlight分数;
- 基于视频与文本相关性端到端学习的一些尝试
▐ 启发式阶段
结合产品同学和我们的观察,首先选择一些比较显著的维度,比如画面是否清晰美观,画面和标题是否相关等,最后综合各模型的分数选择得分最高的部分。
图像清晰度是一个比较主观的感受,同样一副图在手机上是清晰的,但是放在电脑上看就不清楚了。一副图像中不同区域的清晰度也可能不同,比如下面人体部分是清洗的,但是背景是模糊的,手机上的人像模式可以方便的拍出这种效果。用模型来学习这种比较偏主观的任务是比较难的,所以我们采取整图加patch分别打分的模式来判断清晰度,打分方法使用传统计算机视觉里的拉普拉斯算子。
美观度模型我们尝试了NIMA中所使用的AVA数据集来进行美观度的学习,但是可能由于电商视频与AVA中占主流的风景人文摄影存在一定的差异,我们直接用来预测画面美观度的偏差会比较大,于是我们使用淘内数据标注了一批美观/不美观数据训练二分类模型,使用分类模型的softmax概率作为视频画面帧的分数。
在服饰等行业的视频中经常会出现一些材质和细节特写。这些镜头不方便用户对商品形成整体上的认知,业务同学反馈不适合出现在动态封面图中,于是我们用商品主图作为整体图片的样本,然后对这些图片做随机位置的固定大小的剪切来形成细节图片的样本构建了一个百万级别的图片分类数据集。
首猜短视频业务可以挂载相关的商品,如果封面图和挂载商品不相关会给人比较差的体验。利用淘内的海量商品及类目体系,我们训练了一个商品分类模型。我们选取了淘宝上非虚拟非O2O的一级类目的商品,并以一级类目作为分类目标训练了一个resnet50模型。如果一个视频帧如果被分类模型判定为存在某品类商品,那么就认为这一帧中出现了该品类的商品,于是我们以视频所关联的商品所属类目的softmax概率作为相关性的分数。这一看似简单的假设,相对高效地解决了相关性的问题,选取的封面基本保证了商品的出现。
另外我们实验了镜头切换的影响,结论和我们的设想一致:在过短的时间内进行多次切换会影响用户体验,对ctr有负向作用。所以第一阶段的动态视频封面图包括
启发式阶段生产的动态封面在多个场景中落地。在哇哦视频的列表页中进行了AB测试,对比从头播放原视频,动态视频封面获得1%以上ctr增长,平均单视频播放时长增长近3%。另外在天猫搜索中也上线了动态视频封面,AB测试pv增长约3%,点击增长约2%,成交笔数增长约3%,视频相关query的用户uv也增长了约1%。
▐ 用户行为加持
启发式算法的结果上线后取得了一定的业务收益,证明动态封面图的价值,下一步我们借助线上用户行为数据来提升效果。
启发式模型仅考虑了视频帧本身的图像信息,却忽略了视频本身所包含的时序和结构信息,因而我们使用了一个C3D卷积网络来训练这样的一个可以直接评估一个视频片段是否highlight的模型。我们期望这一模型可以直接在原视频上进行一个窗口的滑动,评价每个5秒片段(首猜动态封面图时长固定)的质量,从而直接帮助我们的5秒封面的选取。我们采用C3D模型作为预训练的特征,然后以两层FC来进行片段分数的评估,以正负样本对的分数相对高低作为pair-wise学习的优化目标。在我们所构建的约25万pair的数据集上,算法可以很快的收敛,准确率约0.71。
具体细节参考https://topic.atatech.org/articles/157014
我们所使用的C3D模型相对来说结构还是较为简洁,但是实际上每个滑动窗口都只能使用当前窗口的局部信息,也没有考虑到视频所附带的文本等side information。很自然地,我们想到了使用transformer架构来对视频帧信息进行编码,并引入了视频的标题文本特征来辅助片段的选择。
我们对视频进行均匀抽帧后,将视频帧特征输入到transformer中对每一帧特征进行encode,之后依然是以滑动窗口的方式对5秒内的帧特征进行concat后,引入文本特征,使用mlp来进行分数预测。在这一框架下,我们可以使用不同的标注数据和训练方式:对于标注了用户5秒的视频,我们可以定义用户所选取的片段标记为1,其它为0,而直接使用交叉熵来训练;也可以使用随机选取负样本的方式,来使用hinge loss来pairwise地训练;对于线上投放过的样本,我们也可以直接预测对应样本的ctr,做一个ctr预测的任务;如果某些视频有多个样本进行了投放,我们也可以用这些不同一ctr样本来进行pairwise训练。在一个以ctr高低来进行pair-wise训练的数据集上,基于transformer的模型相对c3d模型,可以将pair对的排序正确率从0.62提升到0.75左右,改善非常明显。
端到端学习
经过启发式学习和利用用户行为优化两个阶段,我们接下来尝试用端到端的方式,直接从源视频中找到最精彩的片段作为视频动态封面图。现有最大的highlight数据集Video2Gif,包含120K个动图,以及超过80K个的视频,总体包括了7379小时,但是该数据集主要是从影视剧中选择的,和我们的场景差别比较大,而且我们的动态封面图还有对应的标题信息,需要考虑视频和文本相关性,这一特性Video2Gif数据是没有的,所以我们建立了自己的highlight数据集。
我们先在首猜场景下用时尚服饰/箱包/电子数码/美妆个护/运动户外/玩具/家居日这7个行业下的热门PGC视频,以及视频的标题及对应的商品标题作为源数据,使用达人上传的5秒封面作为数据集的groundtruth。我们的task是结合视频标题与原视频,选取5秒视频片段。
算法流程为:视频帧用resnet50抽取视觉特征,利用双向GRU来对帧特征进行编码;文本使用w2v获得词向量之后,并利用双向GRU进行编码,利用CoEvo模块进行迭代优化;对于文本特征,我们对所有词构建了一个图,并且计算词与词之间的相似性,并通过相邻边关系来汇聚成词的新的特征向量,降低文本中与整体语义不相关的词的权重。
我们以IoU作为模型预测highlight位置准确度的指标,如上表所示,整体性能指标优于SOTA,但是线上ctr没有涨,我们分析可能是使用数据集不合理,模型的GT是用户选择的, 和ctr指标不太一致。于是我们又重新构建数据集。让外包人工选择了一批highlight数据,给定原视频,以及备选的N个5秒片段,外包同学选择最精彩并且和文本最相关的一个片段。基于video localization方法的思路,提出基于图卷积的分层聚合视频精彩片段检测模型,利用图结构对信息聚合的有效性进行设计,主要包含两个阶段,视频多模态信息融合阶段和基于图卷积网络的精彩片段聚合阶段,并引入了特征重构误差,来帮助我们选取highlight。
我们同样以IoU指标作为衡量highlight预测位置的准确度的指标,较SOTA算法也有所提升。
模型上线之后发现,我们发现线上的ctr指标依然不达预期,但是动态封面图的完播率有一定提升。通过大量case review我们发现动态封面图点击率比较高的是比较新奇,情节不太完整的,而相关性太好,把视频的关键因素全展现完的highlight,由于已经满足了用户对信息的获取,反而不会带来ctr的提升。虽然ctr没有提升而视频封面图完播率提升了,说明用户从动态封面图里获取了更多有效信息,避免点击非兴趣相关的内容,用户体验其实是正向的。由此可见评价算法的指标应该是多元化的,只关注单一指标,可能会有损用户体验,算法设计既要考虑效率也要考虑体验。
▐ 封面图加工二创
上述方法解决的是如何选择视频片段作为动态封面图,在这之后其实还可以对画面进行加工来提升画面吸引力,比如自动插入一些文字、表情或者特效到画面中等等。我们在视频动态封面图的基础上,通过创意文案、视频弹幕等方式为视频添加更多素材,传递给用户更多信息,帮助其决策,提升点击率等指标。我们将动态视频展示区分为以下文案区和弹幕区,其中文案区的内容可以来自短标题、推荐理由等,需要考虑有字体、颜色、位置、时长等,弹幕区的内容可以来自商品的正面评价,弹幕制作需要考虑字体颜色、字体样式、位置、弹幕速度等等。
- 文案区
在抖音、小红书等平台中,我们发现视频的生产者都会把一些吸引人的信息制作成花字放到视频上,于是我们首先在文案区对视频花字进行了初步探索,字体颜色通过提取视频背景的主色进行适配,花字区域统一放在视频的下方,时长持续到视频片段结束为止,花字的内容也是至关重要的,我们简单通过视频短标题和人工的方式确定搜集了一批花字内容。经过上线测试发现部分ctr提升效果明显,但是也存在ctr下降明显的例子,可能原因在于算法产出的花字放置的区域、样式单一,灵活适配性不高。
- 弹幕区
我们继续研究了视频弹幕这种交互形式结合短视频的新形式,用短视频封面+弹幕的交互形式,扩展更多的决策信息给到用户。我们选取视频带有的商品正面评价作为弹幕内容,使用Color Harmonization方法确定弹幕颜色,对弹幕文字进行阴影和底色处理,其他处理还包括了调节弹幕的速度、文字密度、行数等等。
完成了视频弹幕离线生成系统开发,可日均生产数十万弹幕,实现多种特效弹幕的生产,在淘宝经验上测试,对服饰、家具等类目ctr有较为明显的提升。
新展示形态探索
无论图像还是视频都是2D展示形式,如何在屏幕上可以展示出更加立体,更有冲击力的画面,来提升用户体验这是智能展示下阶段要考虑的。比如优酷在《这!就是街舞》第三季中使用的*视角技术,用户在屏幕上滑动就可以看到其他视角的画面。
最近几年出现很多场景合成的工作,不需要3D重建也能够生成逼真的3D效果,比如DeepView,NeRF输入一个场景几张不同视角的图片来合成该场景其他视角的图像。说起来比较复杂,举个栗子,下面的视频并非是拍摄的,而是通过几十张图片实时渲染生成的,是不是感觉非常顺滑,毫无违和感。
该方法使用多平面图像(MPI)视图合成技术,将我们看到的图像分解为不同深度的多个平面层图像。通过一组图像来重建MPI,然后就可以生存该场景其他视角的画面。
除了3D效果之外,远近,动静的对比也会达到非常好的视觉冲击力。远近对比可以通过背景虚化技术实现。动静对比的效果可以用下面这种Cinemagraph来实现。这种GIF或者视频固定大部门区域画面,只保留局部运动区域造成一种时间静止的错觉。
目前生成这种效果可以通过两种途径,一是输入一张图像然后用模型来估计其中的运动场信息来生成部分区域移动的效果,比如让天空,云彩和水流运动起来。
总结
不同的展示技术可以带来新的国民产品和行业,就像前几年图文时代大家都看微信公众号,随着移动互联网和宽带发展短视频这一展示形式迅速崛起,抖音和快手借助短视频在短短几年时间收获大量用户,打造成新的视频生态,对电商行业来说,直播这一展示形式极大的缩短了卖家和买家时空上的距离,提升卖货效率,而且促使专业主播这一职业的发展。可以想像的是随着3D AR/VR等更加生动逼真的展示技术的成熟,必然会有一大波新的机会出现。
推荐阅读
-
智能电网技术在电力调度自动化中的应用
-
人工智能技术在摄影设备中的应用及分析实例
-
openEuler郑州用户组成立!openEuler与hyperfusion携手共建河南地区用户生态 - 开幕致辞 超融合操作系统业务总经理、openEuler委员会成员蒋振华先生为本次活动致辞。 在本次活动的致辞中,他提到,作为openEuler社区早期的成员,超融合见证了openEuler从成立到在各行业商业落地,再到跨越生态拐点的过程,感谢openEuler提供了一个全产业链共同创新的平台,共同推动创新技术的商业落地。 同时,本次活动得到了郑州市郑东新区大数据管理局、郑州中原科技城投资服务局的大力支持。 郑东新区大数据管理局曹光远 在活动致辞中表示,openEuler的应用和*应用设施的深度优化,为郑东新区数字化转型提供了安全、可靠、高性能的技术基础;郑州中原科技城招商服务局王林表示,郑东新区欢迎所有openEuler生态相关企业扎根当地,围绕openEuler社区共同发展,形成合力。 openEuler社区及运维功能介绍 openEuler技术委员会委员胡峰 openEuler技术委员会委员胡峰先生在本次活动中介绍了openEuler社区目前发展的整体情况,并重点从技术层面介绍了openEuler的运维功能。 openEuler 晚会 胡峰先生介绍智能运维工具 A-Ops 和 openEuler gala、 阿波罗 Apollo、智能漏洞管理解决方案等新功能,以及涵盖各种运维场景的精品运维组件。在*交流环节,许多用户就目前使用的 openEuler 在*交流环节,许多用户就自己在使用openEuler过程中遇到的一些问题与胡峰先生进行了进一步的交流。 软硬结合,构建多样化算力操作系统 Hyperfusion 基于 openEuler 的基础上,结合自身软硬件技术积累,推出了富讯服务器操作系统 FusionOS FusionOS. FusionOS 首席架构师张海亮 分享了 FusionOS FusionOS首席架构师张海亮分享了FusionOS的软硬件协同优势、卓越的性能和可靠性,以及FusionOS在金融、运营商、*、互联网等行业的实践案例,引起了众多用户的兴趣,分享结束后,不少参会者就FusionOS的特点向讲师提问并进行了交流。
-
大模型即服务时代的人工智能:在无人机技术中的应用
-
大模型即服务时代的人工智能:在无人机技术中的应用
-
生成式对抗网络(GAN)在人工智能去杂波技术中的创新应用与探索
-
InfoQ,谈谈百度开源高性能搜索引擎 Puck-Ben:Puck是团队长期研究和努力的成果,作为Puck的负责人,我对这个项目有着深深的热爱和执着,对我个人而言,它不仅仅是一个搜索引擎,而是代表着团队心血和智慧的结晶,它是我们对技术的追求,对创新的执着,也是我们对未来的期望和愿景,Puck的每一次升级和优化都记录着我们的成长和进步。这是我们对技术的追求,对创新的执着,也是我们对未来的期望和憧憬,帕克的每一次升级和优化都记录着我们的成长和进步。 我对帕克的未来充满期待。首先,我希望 Puck 能够在开发者社区得到广泛应用,同时得到社区的反馈,不断优化和改进。我期待看到更多的人参与到Puck的开发和使用中来,通过大家的共同努力,让Puck成为人工智能领域有影响力的工具。其次,我希望Puck能够不断创新和优化,保持技术领先地位,不仅要适应当前的技术需求,更要预测和引领未来的技术趋势。最后,我希望Puck能在更多的实际应用中实现自身价值,为人工智能在各行各业的应用提供有力支撑,推动科技发展。 访谈嘉宾简介: Ben,百度搜索内容技术部主任架构师,负责多模态内容理解、超大规模内容关系计算、内容处理与生成、模型优化等方向。 欢迎加入朋克技术交流群:913964818 本部门招聘ANN搜索工程师、模型优化工程师、分布式计算研发工程师等多个职位。欢迎勇于接受挑战、具有优秀分析和解决问题能力的人才加入我们。 招聘邮箱:tianyakun@baidu.com --END-- 推荐阅读
-
趣谈留言队列,搞清楚留言队列到底是什么!-说到消息队列,洪觉大概能猜到人们听到消息队列的反应,大致可以分为以下几类人。 第一类人,懵懵懂懂,刚上大学接触编程,还没用过消息队列,甚至还以为消息队列就是代码里面要新建一个List之类的;第二类人,听过消息队列,了解消息队列,但具体是什么还不是太明白,只知道一说到消息队列,脑海里马上出现了三组词,削峰、异步、解耦;第三类人,用过消息队列,对它有一定了解,但不知道为什么要这样设计,消息队列有什么样的前世今生,是如何演化到现在的模式的?**第四类人,已经对消息队列有了足够的了解,可以阅读本帖作为复习和温习。**你属于哪一类?无论你对消息队列了解多少,读完这篇文章后,我相信你都会有所收获。 什么是消息队列?我们为什么要使用消息队列?真的只是因为它看起来很勉强、很常用吗?当然不是,一项技术的出现往往是为了解决某种痛点,我们就从这个痛点出发,看看消息队列到底是为了解决什么问题而诞生的。 相信大家在工作之前,或者工作中接触单片机的次数会多一点,不管什么业务都一股脑塞进一个系统里,这种情况下接触消息队列的场景会比较少。但随着业务的增长,量上去了,单机系统就很难维护了,也扛不住并发量的增长,就需要把原来的单体应用拆分成多个服务。例如,牛奇网采用分布式架构,将原来的单体系统拆分成用户服务、题库服务、求职服务、论坛服务等,每个分布式节点都有一个集群,保证高可用性。 那虽然在这样的微服务架构下,如果某个核心业务并发量过大,系统就扛不住了。比如淘宝、淘票票、拼多多、京东等电商场景中的支付场景,你在某宝下单并支付后,调用支付服务,完成支付后,还需要更新订单的状态,这个时候就需要调用订单服务,那我们平时也下单,除了简单完成这些操作外,还会给你相应的积分;商家也会收到订单消息,并给您发送旺旺消息,确认订单无误;同时,也会给您发送消息,确认订单无误。确认订单无误;同时您还可以查看您的物流状态;还有系统为了给您推荐更适合您的商品,会根据您的订单做类似的推荐等等,我说的这些都是当我们下单后,肉眼可以感知到系统所做的动作。 **一个支付动作如果还需要调用那么多服务,等他们响应成功,最后再告诉用户你支付成功了,用户在系统中的整个体验会非常糟糕。**设想一下,假设请求服务+处理请求+响应总共需要 50ms,我们上面列出的场景:支付服务、订单服务、积分服务、商家服务、物流服务、推荐服务,总共需要 300ms。
-
反传销网8月30日发布:视频区块链里的骗子,币里的韭菜,杜子建骂人了!金融大V周召说区块链!——“一小帮骗子玩一大帮小白,被割韭菜,小白还轮流被割,割的就是你!” 什么区块链,统统是骗子 作者:周召(知乎金融领域大V,毕业于上海财经大学,目前任职上海某股权投资基金合伙人) 有人问我,区块链现在这么火,到底是不是骗局? 我的回答是: 是骗局。而且我并不是说数字货币是骗局,而是说所有搞区块链的都是骗局。 -01- 区块链是一种鸡肋技术 人类社会任何技术的发明应用,本质都是为了提高社会的生产效率。而所谓区块链技术本质不过是几种早已成熟的技术的大杂烩,冗余且十分低效,除了提高了洗钱和诈骗的效率以外,对人类社会的进步毫无贡献。 真正意义上的区块链得包含三个要素:分布式系统(包括记账和存储),无法篡改的数据结构,以及共识算法,三者互为基础和因果,就像三体世界一样。看上去挺让人不明觉厉的,而经过几年的瞎折腾,稍微懂点区块链的碰了几次壁后都已经渐渐明白区块链其实并没有什么卵用,区块链技术已经名存实亡,沦为了营销工具和传销组织的画皮。 因为符合上述定义的、以比特币为代表的原教旨区块链技术,是反效率的,从经济学角度来说,不但不是一种帕累托改进,甚至还可以说是一种帕累托倒退。 原教旨区块链技术的效率十分低下,因为要遍历所有节点,只能做非常轻量级的数据应用,一旦涉及到大量的数据传输与更新,区块链就瞎了。 一方面整条链交易速度会极慢,另一方面数据库容量极速膨胀,考虑到人手一份的存储机制,区块链其实是对存储资源和能源的一种极大的浪费。 这里还没有加上为了取得所谓的共识和挖矿消耗的巨大的能源,如果说区块链技术是屎,那么这波区块链投机浪潮可谓人类历史上最大规模的搅屎运动。 区块链也验证不了任何东西。 所谓的智能合约,即不智能,也非合约。我看有人还说,如果有了智能合约,就可以跟老板签一份放区块链上,如果明年销售业绩提升30%,就加薪10%,由于区块链不能篡改,不能抵赖,所以老板必须得执行,说得有板有眼,不懂行的愣一看,好像还真是那么回事。 但仔细一想,问题就来了。首先,在区块链上如何证明你真的达到了30%业绩提升?即便真的达到老板耍赖如何执行? 也就是说,如果区块链真这么厉害,要法院和仲裁干什么。 人类社会真正的符合成本效益原则的是代理制度。之前有人说要用区块链改造注册会计师行业,我不知道他准备怎么设计,我猜想他思路大概是这样的,首先肯定搞去中心化,让所有会计师到链上来,然后一个新人要成为注册会计师就要所有会计师同意并记录在链上。 那我就请问了,我每天上班累死累活,为什么还要花时间去验证一个跟我无关的的人的专业能力?最优做法当然是组织一个委员会,让专门的人来负责,这不就是现在注册会师协会干的事儿吗?区块链的逻辑相当于什么事情都要拿出来公投,这个绝对是扯淡的。 当然这么说都有点抬举区块链了,区块链技术本身根本没有判断是非能力,如果这么高级的人工智能,靠一个无脑分布式记账就能实现的话,我们早就进入共产主义社会了。 虽然EOS等数字货币采用了超级节点,通过再中心化的方式提高效率,有点行业协会的意思,是对区块链原教旨主义的一种修正,但是依然无法突破区块链技术最本质的局限性。有人说,私有链和联盟链是区块链技术的未来,也是扯淡,因为区块链技术没有未来。如果有,说明他是包装成区块链的伪区块链技术。 区块链所涉及的所有底层技术,不管是分布式数据库技术,加密技术,还是点对点传输技术等,基本都是早已存在没什么秘密可言的技术。 比特币系统最重要的特性是封闭性和自洽性,他验证不了任何系统自身以外产生的信息的真实性。 所谓系统自身产生的信息,就是数据库数据的变动信息,有价值的基本上有且只有交易信息。所以说比特币最初不过是中本聪一种炫技的产物,来证明自己对几种技术的掌握,你看我多牛逼,设计出了一个像三体一样的系统。因此,数字货币很有可能是区块链从始至终唯一的杀手应用。 比特币和区块链概念从诞生到今天已经快10年了,很多人说区块链技术在爆发的前夜,但这个前夜好像是不是有点过长了啊朋友,跟三体里的长夜有一拼啊。都说区块链技术像是90年代初的互联网,可是90年代初的互联网在十年发展后,已经出现了一大批伟大的公司,阿里巴巴在99年都成立了,区块链怎么除了币还是币呢? 正规的数字货币未来发展的形式无外乎几种,要么就是论坛币形式,或者类似股票的权益凭证等。问题是论坛币和股票之前,本来也都电子化了,区块链来了到底改变了什么呢? 所有想把TOKEN和应用场景结合起来的人最后都很痛苦,最后他们会发现区块链技术就是脱裤子放屁,自己辛苦搞半天,干嘛不自己作为中心关心门来收钱?最后这些人都产生了价值的虚无感,最终精神崩溃,只能发币疯狂收割韭菜,一边嘴里还说着我是个好人之类的奇怪的话。 因此,之前币圈链圈还泾渭分明,互相瞧不起,但这两年链圈逐渐坐不住了,想着是不是趁着泡沫没彻底破灭之前赶快收割一波,不然可能什么都捞不着了。 前段时间和一个名校毕业的链圈朋友瞎聊天,他说他们“致力于用区块链技术解决数字版权保护问题”,我就问他一个问题,你们如何保证你链的版权所有权声明是真实的,万一盗版者抢先一步把数据放在链上怎么办。他说他们的解决方案是连入国家数字版权保护中心的数据库进行验证…… 所以说区块链技术就是个鸡肋,研究到最后都会落入效率与真实性的黑洞,很多人一头扎进链圈后才发现,真正意义上的区块链技术,其实什么都干不了。 -02- 不是蠢就是坏的区块链媒体 空气币和区块链的造富神话,让区块链自媒体也开始迎风乱扭。一群群根本不知道区块链为何物的妖魔鬼怪纷纷进驻区块链自媒体战场,开始大放厥词胡编乱造。 任何东西,但凡只要和区块,链,分,分布式,记账,加密,验证,可追溯等等这些个关键词沾到哪怕一点点,这些所谓的区块链媒体人就会像狗闻到了屎了一样疯狂地把区块链概念往上套。 这让我想起曾经一度也是热闹非凡的物联网,我曾经去看过江苏一家号称要改变世界的“物联网”企业,过去一看是生产路由器的,我黑人问号脸,对方解释说没有路由器万物怎么互联,我觉得他说得好有道理,竟无言以对。 好,下面让我们进入奇葩共赏析时间,来看看区城链媒体经常有哪些危言耸听的奇谈怪论 区块链(分布式记账)的典型应用是*?? 正如前面所说,真正意义上的区块链分布式记账,不光包括“记”这个动作,还包括分布式存储和共识机制等。而*诞生远远早于区块链这个词的出现,勉强算是“分布式编辑”吧,就被很多区块链媒体拿来强行充当区块链技术应用的典范。 其实事实恰恰相反,*恰恰是去中心化失败的典范,现在如果没有精英和专业人士的编辑和维护,*早就没法看了。 区块链会促进社会分工?? 罗振宇好像就说过类似的话,虽然罗振宇说过很多没有逻辑的话,但这句话绝对是最没逻辑思维的。很多区块链自媒体也常常用这句话来忽悠老百姓,说分工代表效率提高社会进步,而区块链“无疑”会促进分工,他们的理由仅仅是分工和分布式记账都共用一个“分”字,就强行把他们扯到一起。 实际情况恰恰相反,区块链是逆分工的,区块链精神是号召所有人积极地参与到他不擅长也不想掺合的事情里面去。 区块链不能像上帝一样许诺他的子民死后上天国,只能给他们许诺你们是六度人脉中的第一级,我可以赚后面五级人的钱,你处于金字塔的顶端。
-
视频会议场景中的空间音频--为何选择空间音频这一主题? 首先,为什么选择空间音频这一主题?我在视频会议领域工作了近二十年,我们的目标一直是让声音更清晰、视频更清晰。但在过去的 20 年中,视频会议的产品形态并没有发生本质的变化。去年元宇宙比较火,微软、Facebook都在做基于VR和元宇宙的企业协作研究,我们也进行了这方面的探索。 一开始,我们想从纯技术角度研究空间音频技术如何应用于视频会议场景,但在研究过程中,我们发现这是一个非常复杂的场景。因为视频会议本质上是人与人之间的交流。人与人之间的沟通是多维度的信息传递,声音、图像、眼神、肢体语言、触觉都是人与人之间沟通的要素,音频只是其中之一。本次分享从沟通与交流的角度,从视频会议的应用场景出发,分析视频会议产品需要什么样的空间音频技术以及如何实现。 02 空间音频与沉浸式交流