当消费者在京东购物时，从打开京东APP开始浏览，到选择商品，再到下单完成，大多依赖图片去感知商品，图片作为一种传递信息的方式，它的表达效果更形象生动，展现效果更立体丰满京东作为国内最大的自营电商平台，拥有千亿级丰富的商品图片资源，从2006年开始，京东就一直保持着对图像识别，智能处理核心算法与模型的研究与探索，同时对商品图片系统进行着智能化重塑。到2018年上半年开始初见成效，在图片存储的基础上，京东图片系统进行了第二次颠覆性的革新——充分挖掘图片信息，并构建智能化应用，打造京东图像生态，今年618大促，京东图片系统智能化带来的一些列黑科技正式亮相！
Drawbot图像智能排版，让图片最懂你
今年618大促，京东的设计师们要完成大量的图片设计工作。据了解，每个设计师完成1张广告图的设计和图片生成，平均需要1个小时，每天人工设计量远远无法满足618大促的需求。为了提升设计师的工作效率，为消费者制作出更精美和更高品质的图片，京东图片系统升级，并联合商城用户体验设计部共同打造Drawbot智能排版黑科技，平均每秒可以生成广告图1000张以上，贴心为用户生成最想要的广告图，更高效的为商家和品牌提供最优质的服务。据悉，今年京东618大促期间智能生成的广告图就已经通过玲珑系统投放到京东APP首页。
Drawbot智能排版批量生成的广告图
Drawbot智能排版将一张广告图分离为背景图、商品图、文案、蒙版、按钮等多个图层的不同元素，利用图像处理算法、计算机视觉算法与机器学习算法有机结合，实现各个图层的智能组合，从而完成大量广告图的智能排版与快速生成。Drawbot智能排版首先需要机器自动抠图，由京东自研的drawbot智能抠图大师能够实现全品类商品一键抠图，批量获取透底图，此外该工具已全面开放，赋能商家。其次，Drawbot智能排版可以根据商品图的颜色、形状等，为每个商品智能匹配合成多个样式的广告图， 从此设计师再也不用担心重复、单调的广告图设计，可以将更多的灵感用于创新与创造。不但如此， Drawbot智能排版还将根据用户浏览内容、用户画像等信息，生成用户更加喜欢的广告图，同时将根据用户对于不同广告图的点击等数据反馈，引入强化学习算法，与京东的搜索推荐、个性化推荐算法合作，促使推送的广告图内容、配色、样式更加吸引用户，从而实现京东的页面更加贴心与人性化，为用户提供专属的购物体验。
Drawbot智能抠图大师产品页面
Drawbot智能翻译，让图片玩转国际化
随着京东全球的战略已经踏上了征程，从俄语站开始到印尼站泰国站以及西班牙语站，我们需要快速建立多语言的海外站， 在这个过程中需要将大量商品的商品详情等图片翻译成多语言的版本。每个商品，至少有5-6张商品详情图片，传统的翻译工作采用人工手工翻译，平均每张图片需要30分钟左右，这就意味着一个商品的图片处理至少需要2-3个小时，采用这样的方式，时间成本和经济成本都非常高。为了提升海外站图片翻译的工作效率，，京东结合文字识别算法、文字擦除技术、机器翻译，以及智能排版等技术，推出了drawbot图片智能翻译产品，用以替代传统的人工图片翻译，可以迅速实现海量商品的翻译和创建。
依靠京东海量商品数据，我们针对京东商品详情页的中、英文及特殊字符都进行定制化的识别，并且训练了一个50层卷积网络进行文本检测。在字符串识别方面，采用了端到端的方式，不仅能实现中文到英文的商品描述的翻译。目前，一些小语种，如中文到西班牙语、中文到俄语的转换也能实现自动翻译，结合翻译后的多语种文字，智能判断字号、颜色、大小，并根据页面的布局和对齐方式，进行布局优化，智能地生成新的其他语种描述的图片。
智能图片翻译服务，让海外站全球售的业务方可以更方便快捷地翻译商品图片，未来，不仅服务京东全球化战略，助力全球售业务，我们还将商品图片翻译功能开放给商家使用，力助商家将商品卖向全球。
图片智能翻译的技术流程
Drawbot近似图片检测，支持多项创新业务
近似图片检测在学术界一直比较活跃，在电商领域有巨大的应用场景，但也给近似检测技术提出了更高的要求，不仅数据量巨大，超过10亿量级，且很多场景对精度要求极高。Drawbot在借鉴业内经验基础上，推出了近似图片检测系统，广泛应用于商家盗图检测、同款商品检索、电商生态治理中的重复铺货检测等多种场景中。
在商家场景下进行重复铺货检测，京东某些商家出于各种获利动机，在前台发布大量的重复商品，造成前台搜索召回大量重复商品霸屏，严重损害了其他商家的权利，更直接影响了用户体验，甚至破坏了平台的生态建设。此外，大量重复的商品占用了大量系统资源，造成了极大的存储和计算压力。 为应对每日千万级的SKU主图增量数据，特别搭建了超高效的drawbot图像同图检测和检索系统，实现10亿级SKU主图覆盖，每日千万级增量SKU主图的同图检测和检索计算，并且完美对接京东自动奖惩系统，真正实现了生态治理从发现到处罚的全流程自动化，不仅节省了大量人力，而且有效避免了由于误伤带来的投诉。
基于用户场景，与个性化推荐团队合作，在APP首页、商品搜索结果页、购物车等页面推出同款商品推荐功能，当用户浏览某款商品时，根据商品主图，在海量商品图库中智能检测系统实时检索返回拥有相同主图的商品，进行实时推荐，便于用户快速获取心仪商品，提升购物体验。此外，Drawbot还为品牌商提供了版权图片保护功能，避免图片恶意盗用，净化平台生态，营造良好的商业氛围。
图像领域永无止境，京东图片系统2.0智能化时代的黑科技远不止于此，基础架构部智能存储部将始终以提供最优质的一站式图像服务为目标，提升用户购物体验，赋能商家、品牌商与京东各业务线，打造京东图像生态，让京东图片产生最大价值。京东商城总架构师、基础架构部负责人刘海锋表示，“智能化商品图片系统是京东电商技术的核心组成部分，也是我们用AI重塑基础架构的关键一环。通过海量图片数据、深度学习算法、大规模分布式系统的协同创新，我们打造一系列的智能图片服务，解决实际的业务运营问题并且提升消费者体验。
