8858cc永利

网站专题BANNER

能无痕 ps,能将文字转为图像,新一代的 DALL·E 2 有着什么样的魔力?

发表日期:2022-04-15 11:16:41 文章编辑:洛壹网络

能无痕 ps,能将文字转为图像,新一代的 DALL·E 2 有着什么样的魔力?

去年 1 月,OpenAI 推出了一个名为 DALL·E 的 GPT-3 最强应用。一年后,二代的 DALL·E 2 也惊艳亮相。DALL·E 2 可以将文字转换生成更真实、更准确的图像,相比上一代产品,其分辨率提高了 4 倍,最为关键的是 DALL·E-2 还进化出了一项新技能——可以根据文字描述将图像自动 PS,而这种 PS 修改目前还很难被察觉,足够“以假乱真”。

原图

PS 后

比如上图中的「狗狗」就是由 DALL·E 2 后加上去的,两幅图对比下,几乎看不出什么破绽。

可以说 DALL·E 2 带给业界的震撼在于这是一款有着独立创造力的跨模态生成模型。之前不管是可以一键切换为卡通风格的 CycleGAN,还是以自动修复图像的 Partialconv,其中运用的 AI 技术只能在图像或者文字的单一模式下进行生成和模仿,而时下将文字转换成图像、甚至根据文字对于图像进行修改,这种“脑补”的能力也是一次创新性突破。

从 DALL·E-2 展示出的效果来看,其联想能力已经接近人类六岁的儿童,其艺术加工尤其是 PS 能力也已经达到了人类设计师的巅峰水平,按照 OpenAI 以往的调性,他们往往是三代产品最强,在未来继续扩大参数规模的情况下,DALL·E 2 还预示着DALL·E 3 将会有无限可能,这也不禁让大家想进一步了解人工智能的边界到底在哪。
DALL·E 2 的前世今生

DALL-E 是艺术家“Dalí”和机器人“WALL-E”的结合词。虽然在 DALL·E 2 的论文中,OpenAI 的科学家们并没有给出这个模型的具体规模与训练所需要的算力,不过考虑到第一代 DALL·E 就已经是基于 GPT-3 这种超大规模模型的项目了,那么大家有理由相信 DALL·E 2 的参数模型应该是 3000 亿起步。

截至目前,OpenAI 团队也尚未在公共 API 列表中提供 DALL·E 2 的相关功能或者预览。据悉,OpenAI 的人员可能担心 DALL·E 2 的超强功能被用到一些如换脸、图像伪造等会对社会造成负面影响的方面,因此也正在设计限制 DALL·E 被用于负面图像生成的方案,预计完成之后就会对外公开了。

与此同时,从另一个角度来看,这也推进了 AI 与云计算的结合,因为只有将 AI 云化才能让普通玩家用得到 DALL·E 2,否则中小型企业凭借自己的力量,很难训练出这种超大规模的模型。

DALL·E 2继承了第一代产品将文本转化为图像的能力,并且提供了更高的分辨率和更低的延迟,还可以根据用户的描述对于现有的图像进行 PS,用户可以从现有的图片开始,选择一个区域,并告诉模型编辑它。例如,你可以在客厅的墙上画一幅画,然后用另一幅画代替它,或者在咖啡桌上放一瓶花。该模型可以填充(或删除)对象,同时在 PS 过程中,DALL·E 2 还会考虑房间中阴影的方向等细节。

正如上文所说第一代的 DALL-E 是基于 GPT-3 模型的,它可以将图像压缩成文字,但图像与文字的匹配往往会限制图像的真实度。DALL·E 2 则引入了 CLIP/unCLIP 的机制,CLIP 类似于编码器,它的工作原理是像人类一样,查看图像并总结图像的内容,而 unCLIP 则是 CLIP 的反向操作,是从文字描述生成图像的过程。CLIP/unCLIP 的机制在一定程度上解决了 CLIP 一个非常有趣的弱点:人们可以通过给一个物体贴上一个标签(比如 iPod),这种方式往往会达到欺骗模型的目的。DALL·E 2 对于这种贴着标签的苹果有着比较好的识别能力,比如下列图片基本都能被 DALL·E 2 正确处理。

DALL·E 2 的基本原理与背后趋势

正如前文所说,DALL·E 2 是基于 CLIP/unCLIP 机制的,首先为了获得完整的图像生成模型,将 CLIP 图像嵌入解码器与一个先验模型,它从给定的文本标题生成可能的 CLIP 图像嵌入。而将完整文本条件图像生成堆栈则称为 unCLIP,因为它通过颠倒 CLIP 图像编码器生成图像。训练数据集由成对(x, y)的图像 x 和它们对应的标题 y 组成。设 zi 和 zt 分别为其 CLIP 图像和文本嵌入,其基本的架构如下:
能无痕 ps,能将文字转为图像,新一代的 DALL·E 2 有着什么样的魔力?笔者认为 DALL·E 2 快速发展的背后,其实是人工智能由感知智能到认知智能的全面升级,而这其中的创造性是 AI 今后发展的最大助力,比如金融行业的呼叫中心需要分析客户的语气,以快速处理投诉类案例;出行类 APP 遇到客户说出某些关键词时,则需要立即与 110 联动报警。这些应用场景其实都需要 AI 模型放弃原先死板僵硬的计算,而发展出某种活性。而一旦 AI 拥有创意,那么就可以和二次元特性进行结合,尤其是 90、00 后的年轻人们,在对话当中经常使用表情图、动态图等方式来表达情感,而将这些非语言信息的语义提取并翻译出来,就需要一定的创意了。

而再进一步,AI 未来很可能会达到比你自己更懂你的程度。比如前段时间笔者经常熬夜加班,结果打开淘宝会发现总给我推荐防脱洗发水,当然目前已经推荐枸杞了。

不过这其实也说明认知智能的终极发展就是让用户在使用过程中对于“人工智能”不断淡化,甚至无感化。现在用户使用人工智能时还会明显感受到它的存在,比如你打开电视还需要说“我要看XXX的电视剧”,还要对手机说“给XXX打电话”而真正实现认知智能之后,将会让你觉得你的这些交互行为变为多余,比如你回到家,人工智能系统会根据你的步态,推荐一个适合你当下身体状况的食谱,等你吃完饭下楼去超市的时候,你的手机会建议补充一些牛奶,因为你刚刚已经把家里最一袋牛奶喝掉了。相信读到这里读者也就会明白,化有形于无形,就是用户交互的最终奥义。

虽然短期来看,创造性 AI 还略显遥不可及,但是 DALL·E 2 的出现,让大家看到了希翼,让大家做好准备迎接新一代认知 AI 产品的到来。

相关内容
2022 年 SaaS 的趋势预测

SaaS 这个行业还在不断地快速增长。据 Gartner 的一项调查显示,预计 2022 年 SaaS 的支出将增长 40%。企业“每年还要在 SaaS 上面额外支出 200 亿美金”。 SaaS 引擎正在加速,以实现闪电般的快速增长。

SaaS顶流Salesforce的发展史

1999年,贝尼奥夫创立了Salesforce,初衷是把它打造成一个世界级的SFA互联网企业。销售出身的本尼奥夫是个营销鬼才,除了免费试用和限量赠送,早期“NO software”的示威口号让Salesforce在4个月便登上华尔街日报头条,直到现在,被用来在客户间推荐和宣传的Dreamforce大会,已经拥有了上亿的观看量。

搜狐现在怎么样了?卖掉搜狗后,媒体和游戏业务增长如何?

关于搜狐,除了把搜狗卖给Tencent,外界谈论的常常是掌门人张朝阳,他的言论,他的物理课。至于企业本身,搜狐近些年似乎总在核心叙事之外。

Meta一站式硬件商店,meta开了一家线下店

Meta(原脸书)在美国加州湾区开了一家线下店,打出“Meta一站式硬件商店”的名号。5月9日,它正式开业了。

电子发票SaaS的未来

与其他所有的新变革都会对现有游戏规则造成冲击一样,新生的电子发票系统,也在无形之中松动了传统发票服务市场的传统格局,为行业带来了全新的改变。

2022年,中国互联网云厂商的情况

局势已经清晰,谁能在新的角斗场里占据高地,谁就能率先跑出新的商业模型。驱除雾霾,这是新的良性发展,也是在新的外部力量干预下,一个被迫断臂成长的互联网云计算新蓝图。

下一代互联网的Web3.0,在中国将拥有怎样的市场前景?又将呈现出怎样的发展路径?

2021年,在国内为元宇宙“疯狂”的时候,海外市场则在猛烈推进Web3.0。该年底,美国一场国会听证会,向这一领域传达出前所未有的友好态度。

“微信农场”登上热搜第一,茶饮店或许能从中获取新思路?

前不久,“微信农场”登上热搜第一,网友发现微信状态中竟然偷偷上线了“农场功能”,网友们都玩“疯”了,各种动物开始占据了微信状态.....奶茶也不例外。 微信新功能的火爆,貌似是在给奶茶店“发红包”,茶饮店或许能从中获取新思路?

大家
定制
咨询
联系
在线咨询
您的浏览器版本太低

请升级您的浏览器: Internet Explorer11 或以下浏览器: Firefox  /  Chrome  /  360极速浏览器

XML 地图 | Sitemap 地图