6月27日，蜜度發(fā)布了人工智能前沿應(yīng)用成果——跨模態(tài)檢索引擎MiduCMR，在多模態(tài)信息檢索領(lǐng)域取得重大突破?；贛iduCMR，蜜度索驥推出跨模態(tài)檢索功能，實(shí)現(xiàn)視頻、音頻、圖片、文本等不同模態(tài)信息在統(tǒng)一語(yǔ)義空間中的跨模態(tài)檢索；蜜度版權(quán)通推出文本、圖片、視頻的版權(quán)保護(hù)與監(jiān)測(cè)功能，實(shí)現(xiàn)多模態(tài)信息融合的一站式知識(shí)產(chǎn)權(quán)保護(hù)。目前，蜜度索驥、蜜度版權(quán)通產(chǎn)品可在蜜度官網(wǎng)中進(jìn)行體驗(yàn)。

數(shù)字時(shí)代，數(shù)據(jù)智能已成為輔助決策的重要手段之一，社交媒體內(nèi)容數(shù)據(jù)在社會(huì)治理、企業(yè)營(yíng)銷、媒體變革中發(fā)揮著重要作用。隨著視頻技術(shù)、網(wǎng)絡(luò)技術(shù)、5G的發(fā)展，互聯(lián)網(wǎng)信息正在從文字、圖像向圖片、音頻、視頻相互融合的多模態(tài)內(nèi)容轉(zhuǎn)變。但視頻、音頻、圖片、文本信息搜索之間存在一定的壁壘，這些形態(tài)豐富、來(lái)源多樣、數(shù)量巨大的多模態(tài)內(nèi)容數(shù)據(jù)難以得到有效的分析和應(yīng)用。例如視頻、短視頻通常是文字、圖像、音頻等多種形態(tài)的組合，而常用的內(nèi)容提取和分析方法主要針對(duì)文字、圖像的單個(gè)模態(tài)進(jìn)行，難以在多類模態(tài)之間實(shí)現(xiàn)“跨越”。同時(shí)音視頻在傳播過(guò)程中容易產(chǎn)生裁剪、編輯等二次創(chuàng)作的情況，內(nèi)容較為復(fù)雜，基于文本關(guān)鍵詞的檢索方法也存在信息發(fā)現(xiàn)不全面、侵權(quán)線索不容易發(fā)現(xiàn)、信息難以合并、追溯難度大等問題。

面對(duì)數(shù)字時(shí)代的新需求，上海蜜度信息技術(shù)有限公司自主研發(fā)推出跨模態(tài)檢索引擎MiduCMR，為視頻、音頻、圖片、文本等多模態(tài)內(nèi)容的檢索、分析、應(yīng)用提供解決方案，幫助政企、媒體及創(chuàng)作者更好地面對(duì)全媒體多模態(tài)信息傳播的新挑戰(zhàn)。

跨越語(yǔ)義鴻溝多模態(tài)信息一鍵檢索

MiduCMR突破傳統(tǒng)的單一模態(tài)的信息檢索方式，實(shí)現(xiàn)了跨模態(tài)信息的一鍵檢索。引擎從微博、論壇、App、短視頻等來(lái)源的多模態(tài)信息中，提取視頻、音頻、圖片、文本內(nèi)容并對(duì)其進(jìn)行單模態(tài)理解和多模態(tài)融合，將海量全媒體信息映射到統(tǒng)一語(yǔ)義空間，跨越不同模態(tài)內(nèi)容間的語(yǔ)義鴻溝，自動(dòng)理解、關(guān)聯(lián)多模態(tài)間的關(guān)鍵要素。

基于強(qiáng)大的跨模態(tài)檢索能力，MiduCMR實(shí)現(xiàn)了以文本搜圖片，以文本搜音視頻，以圖片搜文本，以圖片搜圖片，以圖片搜視頻，以音頻搜文本，以音頻搜視頻等跨模態(tài)信息檢索功能，快速呈現(xiàn)所需的多模態(tài)信息；并能夠智能識(shí)別圖片中的文字內(nèi)容，準(zhǔn)確解析視頻中的字幕、背景、封面等特征元素，為深度數(shù)據(jù)分析提供基礎(chǔ)。

多樣化識(shí)別分析應(yīng)用場(chǎng)景豐富

在跨模態(tài)檢索的應(yīng)用方向上，MiduCMR能為政企、媒體提供多樣化的支持。目前，MiduCMR利用跨模態(tài)對(duì)比學(xué)習(xí)、語(yǔ)義融合、語(yǔ)義表征、語(yǔ)義檢索等技術(shù)，實(shí)現(xiàn)了跨模態(tài)視頻打標(biāo)簽、相似視頻檢索、場(chǎng)景識(shí)別等一系列解決方案。

針對(duì)政務(wù)應(yīng)用場(chǎng)景，基于MiduCMR的蜜度索驥已支持約300個(gè)特殊場(chǎng)景的識(shí)別分析，有效提高政企、媒體等單位對(duì)視頻等多模態(tài)內(nèi)容發(fā)現(xiàn)、分析的準(zhǔn)確度及應(yīng)急反應(yīng)速度，幫助用戶及時(shí)發(fā)現(xiàn)公眾需求、了解情緒變化、聆聽建議心聲、關(guān)注輿論動(dòng)向、捕捉判別謠言，保護(hù)知識(shí)產(chǎn)權(quán)、打擊假冒偽劣，為政府宣傳、公安網(wǎng)安、社會(huì)治理、互聯(lián)網(wǎng)內(nèi)容安全的數(shù)字化升級(jí)工作提供支持。

針對(duì)知識(shí)產(chǎn)權(quán)應(yīng)用場(chǎng)景，基于MiduCMR的蜜度版權(quán)通已經(jīng)支持全網(wǎng)多場(chǎng)景中的版權(quán)保護(hù)，幫助企業(yè)、媒體、個(gè)人、律所、MCN機(jī)構(gòu)、影視創(chuàng)作機(jī)構(gòu)進(jìn)行文本版權(quán)、圖片版權(quán)、視頻版權(quán)的監(jiān)測(cè)、預(yù)警、追蹤與智能取證。同時(shí)，蜜度版權(quán)通能夠?qū)ι虡?biāo)侵權(quán)、產(chǎn)品設(shè)計(jì)與包裝侵權(quán)、外觀設(shè)計(jì)專利侵權(quán)等行為進(jìn)行監(jiān)測(cè)、預(yù)警、追蹤與智能取證。

據(jù)悉，蜜度將基于MiduCMR推出更多的跨模態(tài)檢索產(chǎn)品，以人工智能技術(shù)的應(yīng)用突破，在公安、消防、教育、醫(yī)療、民生以及內(nèi)容監(jiān)管、品牌洞察、知識(shí)產(chǎn)權(quán)保護(hù)等領(lǐng)域提供豐富的數(shù)據(jù)智能應(yīng)用與解決方案，為數(shù)字政府、數(shù)字營(yíng)銷、數(shù)字媒體、數(shù)字城市等場(chǎng)景助力賦能。