资讯 更多 >>
Instruct-NeRF2NeRF,这个AI模型可...
国产新车报道:五菱Victory于7月份开...
修身打底衫配什么裤子_修身打底裤|...
绍兴上虞区出台新政鼓励生育 三孩...
深海恐惧症患者福音 《地平线:西...
当前消息!消费回升的“可持续性”...
内蒙古深耕优势特色农牧业
2005年来最低库存!铜金属拉响警报...
传媒板块持续走强
北元集团2022年营收125.9亿 净利14...
动态更多 >>
武汉市烟花爆竹燃放规定2023_全球速递
大金重工董秘回复:公司截至2023年1...
左江科技01月10日获深股通增持5.12万股
【当前热闻】百勤油服(02178)授出75...
目标规模50亿元!郑州市产业母基金...
郑州至比利时列日货航成功首航 每日焦点
京东金条延迟还款会上征信吗
世界关注:有意思小周刊(2023.01.0...
IPv6板块1月9日跌0.39%,东方通领跌...
中邮钱包网贷逾期51年会影响征信吗
会展 更多 >>
美籍酿酒师在崇礼:中国是第二故乡...
河南项城报告2名疑似新冠肺炎病例 ...
浙江绍兴确诊病例首次零新增 上虞...
广西东兴实行全员居家隔离 启动口...
新疆全方位推进乡村振兴 “富春山...
云南瑞丽市主城区全员核酸检测结果...
内蒙古满洲里累计治愈出院本土确诊...
孙海洋夫妻驱车山东阳谷:还在为孙...
大国工匠追梦“玉米强国”40载:用...
让南海“海洋热带雨林”斑斓多彩
专题报道 
当前位置: 资讯 > >> 正文
 
Instruct-NeRF2NeRF,这个AI模型可以让用户通过文本编辑3D场景|当前速看
来源:站长之家     时间:2023-04-19 15:15:51

站长之家(ChinaZ.com)4月19日 消息:Instruct-NeRF2NeRF 使用生成式 AI 模型的方法,可以根据文本输入编辑3D 场景。


(资料图片仅供参考)

今年早些时候,加州大学伯克利分校的研究人员展示了InstructPix2Pix,这是一种允许用户使用文本指令在 Stable Diffusion 中编辑图像的方法。例如,该方法可以替换图像中的对象或更改样式。

InstructPix2Pix项目网址:https://huggingface.co/spaces/timbrooks/instruct-pix2pix

注:文中图片均来自Instruct-NeRF2NeRF 项目视频案例截图

现在一些研究人员已经将他们的方法应用于编辑 NeRFs。Instruct-NeRF2NeRF 从经过训练的 NeRF 和用于训练的图像开始,可以根据文本提示一张一张地编辑训练图像,并使用这些编辑后的图像重新训练 NeRF。

注:NeRF(Neural Radiance Field,神经辐射场)模型是一种利用多层感知器(MLPs)进行隐式神经场景体绘制的新型视图合成方法。到目前为止,NeRFs主要用作3D模型和3D场景的一种神经存储介质,然后可以从不同的相机视角进行渲染。

Instruct-NeRF2NeRF 支持简单物体和真实场景

该团队展示了如何使用这种方法给头部戴上牛仔帽、将其变成3D 油画、将其变成蝙蝠侠或将其变成爱因斯坦等。

其它的例子还有改变自然拍摄的季节、时间或天气;改变一个人的衣服。

该团队称,该方法“能够编辑大规模、真实世界的场景,并且能够比之前的工作完成更逼真、更有针对性的编辑。”

Instruct-NeRF2NeRF 根据迭代编辑的图像更新 NeRF。此任务由 InstructPix2Pix 执行,它以文本输入为条件。

Instruct-NeRF2NeRF 需要10到15GB 的显存

该团队正在发布三个不同版本的 Instruct-NeRF2NeRF,它们需要15到10GB 的 RAM 视频内存。最大的版本提供最佳的结果。

这种新方法将AI技术应用于3D场景处理,可以实现更准确的编辑操作,并为研究提供了新的可能性。这种模型有利于加速图形处理领域的创新,为人类创造更好的视觉体验提供了新的思路。

Instruct-NeRF2NeRF 项目页面上提供了更多示例、代码和模型。

Instruct-NeRF2NeRF项目网址:https://the-decoder.com/instruct-nerf2nerf-lets-you-edit-nerfs-via-text-prompt/

(举报)

关键词:

热门推荐
猜你喜欢