（截止2021年12月4日，铭识大陆数据）
如果你也跟我一样，还在铭识大陆 App 里持之以恒地答题，那么你或许也发现，一个新的领域题库上线了。
如果只看题目，似乎很复杂，不过通过审核进入题库后，我们会发现里面的题目非常简单，而且与我们的生活息息相关。
（“多模态搜索”题库问题示意图）
我们可不要小看了这套“简单”的题库。它的答案所汇集称的数据形成的知识图谱，或许有一天会完全颠覆你的网购体验。
文本和结构化的数据，是知识图谱的“食粮”。但只从一两种“食物”中汲取养分，势必会造成“营养不良”，不利于知识图谱的“健康成长”。巧妇难为无米之炊，“营养不良”的知识图谱，自然也没有办法供养出“健康”的算法。所以，让知识图谱“吃饱”、“吃好”，一直是人工智能领域专家们的头等大事。
随着互联网技术的迭代与发展，图片、视频和音频等视觉或听觉形式的数据体量越来越大，数据结果变得越来越重要。如何将现有的如何将文本和现有的结构化数据同视觉或听觉形式的数据结合起来，实现他们的逻辑互通，成为了多模态知识图谱领域的重要课题。
（多模态转化的图片&文本特征示例）
大规模的知识图谱，例如 Wikidata 和 DBpedia 已经成为语义搜索以及问答的重要解决方案。可是，“目前大部分的知识图谱还是基于具有结构化表示的文本来表示实体信息，忽略了拥有更多信息表示的图片，视频，语音等多模态数据。现阶段还没有比较全面的多模态知识图谱来探索文本和视觉之间关系，为了填补这一方面的空白，我们提出了构建多模态的知识图谱数据集。”AI 多模态机器学习领域专家俞宏远博士说道。
在所有的数据体系里，食品与日化用品的搜索和结果返回，在日常搜索和电商搜索里都有明显的频次优势。且现阶段的食品结构化数据，多是图片和文本信息的结合，天然机器学习的“多模态”学习基础需求。所以俞宏远博士和他的团队选择从这两个品类入手。
（多模态商品知识图谱示意图）
俞宏远博士和他的团队与铭识大陆 App 联手，推出来“多模态搜索”题库。在这个题库里，我们可以看到，生活中常见的食品及日化用品品牌和类目已经出现在题库中，且题库仍在不断完善。
（铭识大陆 App “多模态搜索”部分题库标签）
我们在铭识大陆 App 给出的答案，会被领域专家转换成高质量的商品知识图谱，用于电子商务领域的检索算法、商品推荐算法之中，从整体上提高电子商务平台的服务水平。
算法在经过不断的迭代与优化之后，或许在不久的未来，“购买过玩具之后某宝开始给未婚的我推荐纸尿裤”就真的只是一个历史长河里的笑话而已了。而新的先锋算法和流量池经济，很可能就此诞生。而这一切的源头，就是从你刚刚回答的那道题开始的。
（“多模态搜索”题库答题示意图）
还等什么呢？快来铭识大陆App，和我一起改变世界吧！
本文来自投稿，不代表果核3.0立场，如若转载，请注明出处：https://www.guohe3.com/1152
