便携式应急电源
镀铜焊丝的缺陷检测方法、装置、设...
电码的自动识别方法及存储介质
基于强化学习的楼栋摆放方法、装置...
用于观测水下生物的系统及其方法
一种电子设备的空中固件差分升级方...
一种印刷模切张力自动控制系统及其...
低功耗状态监控设备
一种利用RTP扩展头部解决视频帧...
一种高衍射效率相位型空间光调制器...
一种家装板材运输用包装机器人
航空发动机精密管路及其航空发动机...
宽光谱吸收的薄膜太阳能电池及光伏...
一种基于磁通压缩的脉冲磁体装置及...
一种总线访问仲裁装置及方法
一种处理网络抖动的方法及装置
基于光芯片的数据处理方法、装置、...
一种基于小基线条件下的大畸变广角...
一种自动识别设备间网络拓扑结构的...
基于光芯片的数据处理方法、装置、...
企业介绍页面,左右侧内容分别复制到相应容器即可,起始结束位置代码已作标注
专利名称多媒体内容描述生成方法、训练方法、装置、设备及介质
申请日2019-07-09
申请号/专利号CN201910616904.X
专利权人腾讯科技(深圳)有限公司
申请人腾讯科技(深圳)有限公司
发明人/设计人王柏瑞;马林;刘威
公告日2019-09-13
公告号CN110234018A
法律状态审中
专利类型发明
行业分类

摘要

本申请公开了多媒体内容的描述生成方法、训练方法、装置、设备及介质,属于人工智能领域。该方法包括:调用描述生成模型对多媒体内容进行多模态特征提取,得到至少两种模态特征的帧特征序列,帧特征序列包括在至少两个多媒体帧中对应的模态特征;调用描述生成模型对至少两种模态特征的帧特征序列中属于同一帧的模态特征进行融合,得到高级帧特征序列;高级帧特征序列包括在至少两个多媒体帧中对应的融合后的模态特征;调用描述生成模型对高级帧特征序列进行解码,得到多媒体内容的自然语言描述。可以解决只将模态特征进行直接级联来进行简单融合,忽略了不同模态特征之间的关联性,导致最终生成的自然语言描述忽略了部分语义信息。
  关于我们  | 帮助中心  |  服务清单  |  发展历程 |  网站地图  |  手机访问

Copyrights 2016-2020  

南京锐阳信息科技有限公司 版权所有

苏ICP备17027521号-1

地址: 南京市秦淮区永智路5号五号楼3层