標(biāo)的名稱 | 一種基于反事實(shí)推理的跨模態(tài)檢索模型、方法及計(jì)算機(jī)設(shè)備 | 項(xiàng)目編號 | ZL****TJ******1 |
掛牌開始時(shí)間 | ****-**-** | 掛牌截止時(shí)間 | ****-**-** |
專利所屬地 | 中國 | 專利類型 | 發(fā)明專利 |
專利號 | ************.8 | ||
授權(quán)日期 | ****-**-** | 到期時(shí)間 | ****-**-** |
應(yīng)用領(lǐng)域 | 其他(下一代信息網(wǎng)絡(luò)產(chǎn)業(yè)) | ||
簡介 | 本發(fā)明公開了一種基于反事實(shí)推理的跨模態(tài)檢索模型、方法及計(jì)算機(jī)設(shè)備,包括:提取原始圖片和文本的特征,使用反事實(shí)對比學(xué)習(xí)構(gòu)建樣本的正負(fù)樣本。采用反事實(shí)方法分別生成實(shí)例級、圖像級的正負(fù)樣本,使模型關(guān)注圖片細(xì)節(jié)信息及全局場景信息;生成文本在語義級的反事實(shí)樣本,構(gòu)建語義級的對比學(xué)習(xí),實(shí)現(xiàn)跨模態(tài)語義關(guān)系;將上述部分融合得到跨模態(tài)檢索模型并整體訓(xùn)練。本發(fā)明將反事實(shí)推理的多級對比學(xué)習(xí)應(yīng)用在跨模態(tài)檢索中,構(gòu)造文本特征和圖片特征對齊模塊,對生成反事實(shí)樣本進(jìn)行指導(dǎo),分別在實(shí)例級、圖像級和語義級構(gòu)建反事實(shí)對比樣本,通過反事實(shí)對比學(xué)習(xí),緩解由于數(shù)據(jù)集的數(shù)據(jù)分布不均導(dǎo)致的虛假問題,提升模型的語義對齊能力以及模型準(zhǔn)確度。 | ||
擬轉(zhuǎn)讓/許可方式 | 擬交易底價(jià) | 入門費(fèi)加提成費(fèi)支付:采用入門費(fèi)和提成費(fèi)相結(jié)合的方式,其中入門費(fèi)為5萬元,提成費(fèi)按當(dāng)年度合同產(chǎn)品凈銷售額的5%提取。 |
轉(zhuǎn)讓/許可方類型 | 認(rèn)證名稱 | 天津理工大學(xué) | |
注冊地址 | 注冊資本 |
轉(zhuǎn)讓/許可范圍 | 中國 | ||
受讓方資格條件 | 中國 | ||
保證金要求 | 無需交保證金 |