短视频从业者心中最担忧的状况是什么? 并不是视频画面的视觉效果缺乏吸引力, 也并非文案内容难以引起观众的兴趣, 真正让人头疼的是背景音乐与画面节奏配合出错。
翻了一遍曲库翻了四十分钟, 试听了三十多首下来发现结果要么节奏不对, 要么情绪不对。还有要么时长和画面不匹配这种情况。
好不容易找到一首勉强能用的歌曲, 可是导出来之后发现版权情况不够明确, 所以不敢公开发布内容。最后没办法只能凑合用一首感觉“差不多”的音乐来配乐。视频发布出去之后我自己都觉得内容差点意思表现不太好。
后来的时候, 我开始使用蘑兔AI音乐这种工具, 来进行根据具体需求自动生成配乐的工作。
在最早的那一个阶段, 我自己也遭遇了比较多的问题和挫折, 这些挫折可以用踩了不少坑来形容, 当我给系统输入温暖的背景音乐的指令之后, 系统最终输出的结果是非常不符合要求的商场促销风格的曲调;再有一次, 我输入了轻快民谣的指令作为要求, 但是得到的结果是具有十年前彩铃风格的那些声音片段, 这让我对那种感觉非常困惑。
在那段时间里, 我曾经深深地怀疑过, 关于人工智能来创作歌曲的这种能力, 到底是不是一种只存在表面宣传效果的噱头而已。
直到我搞清楚了这套提示词语的逻辑以后, 才意识到问题不在于模型本身的能力不好,而是我没有为它提供充足的叫做信息密度的东西。接下来这几组提示词是我们经过实际测试之后发现能够最明显拉开内容质感差距的组合, 并且每一组都配备了可以让人直接复制并粘贴使用的模板形式, 使用者只要拿过去就可以直接进行使用操作。
一、先把那个塑料感觉给解决掉, 想办法让声音能够加上一些物理上面的痕迹。
AI 生成的音乐最容易暴露的一个问题, 它被指出来是“塑料感”, 这个说法的意思是它的音色显得假, 感觉非常扁平, 听起来就像是十几年以前的电子琴的自动伴奏那样。
核心原因是, 你在描述的时候用了“干净的声音”这个词组, 在人工智能的领域里, 这样的表述就等于没有明确特征。像“干净、清晰、明亮”这类词语实在太过宽泛了, 导致AI程序只能去提取那些最通用的频谱数据。
它根本就没有办法搞清楚你到底想要的是那种像是在录音棚里录制出来的干净效果, 还是磁带播放时的那种带着老旧痕迹的效果, 又或者黑胶唱片所特有的温暖韵味。
解决这个办法是给声音加上一些物理痕迹的存在。不要去告诉人工智能它需要去生成什么样的内容, 而是应该去告诉它是经过了哪些步骤的处理才形成的这样的效果。
可以拿来直接复制的, 用来控制音质的那种模板:
一切都被那种很轻、很像真的的温暖给包住了, 就好像是被录制在了磁带上面, 接着又在落了灰尘的阁楼里头放了整整有二十年那么久, 高频部分有一点点往下沉, 低频那边倒是保住了那种暖和又饱满的感觉, 时不时还夹杂着一点细小的失真痕迹。
这指的是那种 Lo-fi 风格, 但它是经过刻意设计出来的。在声音细节上, 底部区域保留了黑胶唱片特有的细微噼啪杂音, 在高音部分则带有非常轻微的磁带抖动效果感, 而低音部分依然保持着温暖且饱满听感的特质。
要有现代感的样子, 不过得要显出材质的那种质地上来。图像方面要清晰利落这一点没问题, 但是别把那边缘锐化处理得太过分了。画面得有一点光泽度在里头, 与此同时还要给保留那么一丁点儿那个模拟底噪出来的感觉。
这几句话之所以能够奏效, 原因在于当人工智能算法接收到诸如“胶带”、“黑胶唱片”以及“陈旧”或者是其他相关特征的词语时, 它会自动去提取和匹配那些具备特定频谱分布属性的声音质感, 这就包括了高音部分的衰减现象、谐波的饱和效果, 以及偶发的失真情况, 而所谓的人味儿或者是带有感情色彩的声音表现, 其根本来源并不是那种模糊不清的状态, 而是由具体可感的物理痕迹所构成的。
二、通过运用那些能描述方位以及远近关系的词汇, 来在视觉呈现上制造出一种具有深度的立体感受。
之所以说现在的AI音乐听起来有一种“扁”的感觉, 从根本原因上进行分析的话, 其实就只有单一的一个因素在起作用, 这个原因就是所有发出的声音都处在完全相同的一个播放距离上面对着你进行播放, 并且整个听感体验里面是没有呈现出任何形式的前后方向上的深立体感的。
你说的那个话叫做“加空间感”, 但是AI它完全搞不清楚你到底是想要多大的一个空间出来, 也不明白应该用什么材质的东西来表现这个感觉更合适, 还有那个声音跟你之间的距离到底应该是多少这么远还是那么近。
所以你必须要给那个AI专门准备一个像是剧本一样的详细设定。你要告诉它哪一件乐器是出现在近处的, 哪一些乐器是放在远处的, 要描述的整个场景大概有多大面积, 连墙壁到底是什么样子或者是什么材质也得说清楚不可含糊过去。
可以拿来直接复制, 用来表示空间感觉的那一种模板。
钢琴就在那里, 距离很近, 让人感到一种亲近感, 就像你就坐在这架钢琴的旁边一样。弦乐则在比较远的地方响起时, 声音若隐约现, 忽明忽暗, 仿佛是隔着墙壁从另外一个房间里面传过来的声音那样。
贝斯部分的声音位于钢琴和弦乐器的中间地带, 它听起来有一定的厚度和分量, 但是它并没有喧宾夺主去抢夺其他乐器的风头。
主唱是在近距离的情况下进行演唱的, 因此使用了近场拾音的技术。鼓组在小俱乐部里面进行表演, 混响时间比较短, 声音听起来非常紧实。合成器中的Pad音色则是布置在远处来做背景铺垫的, 那种听觉感受, 就像是声音从天花板上面慢慢渗透下来的样子一样。
整件事情是在一个闲置的仓库里面进行拍摄的。空间当中存在着天然的房间回声现象。声音的高频部分带有极为轻微的瓷砖质感。低频段则呈现出一种空洞的共鸣状态。
这套逻辑是很实用的。同时给予人工智能三样东西, 第一个是两个乐器相对的位置, 第二个是它们的绝对的距离, 第三个是聆听者的在场感。人工智能会据此调整混响的发送量, 也会调整高频衰减的情况, 还会调整音量比例。这就是立体感的底层逻辑。
三、别再只去干那个叫做写风格的事情了, 要去把具体的场景和当下的情绪给写出来, 用这两个东西去替代那个简单的标签。
人们最常犯的一个错误, 就是仅仅输入像“流行歌”或者“电子音乐”, 以及“爵士风格”这样的词汇。最后出来的那个东西, 虽然具有那个风格的外壳, 但是却没有灵魂存在其中。
蘑兔AI是一个以自然语言交互作为核心内容的工具, 它所需要去理解的并不是所谓的风格标签, 而是氛围以及画面本身。
对比一下:
输入:“爵士风格”
当早晨的最初一点阳光照到了咖啡馆里面以后, 那个轻轻的爵士乐声音响起来了, 那种男人说话或者是唱歌的方式很慢很懒散的, 总之就是给人一种虽然温暖但是也能提神的感受。
输入:“民谣”
那是秋天的傍晚时候, 在公园的一张长椅那里, 落叶正在被风吹起来, 同时播放着用木吉他就弹的那些分解和弦, 演奏速度是中等的, 听起来是带有一点怀旧的感觉但是并不是那种伤心的样子。
你描述的那些场景具体到什么程度, 是越细致越好呢, 这样的话AI它就越能够清楚到底应该如何去调用那种编曲上面所谓的密度方面的安排、还有那些乐器音色方面的一种选择或者是搭配的感觉, 以及节奏层面应该呈现出一种怎样的状态, 你所营造出来的那种画面感本身就是在作为一种提示词来发挥作用。
四、用带有冲突性质的词语搭配办法, 制造出一种高级感。
单一种类的情绪会显得有些平庸, 如果全部都是非常温暖的感觉, 那么就会呈现出一种甜腻的状态, 而如果全部是非常悲伤的氛围, 则会让人感觉到十分沉重, 具有实际质感并且能够被听众感受到深度的背景音乐作品, 通常情况下是在情绪的表达方面存在着微妙且难以言说的冲突与拉扯感的。
咱们可以去试一下, 就是把那些看起来相互矛盾的情绪相关的词语,放在一起组合使用。
温暖但克制
孤独但不悲伤
明亮但有灰度
有力但不吵
怀旧但不伤感
这些组合词会迫使AI在编曲的环节之中, 做出更加细腻的决策动作。比方说当输入的是“温暖但是克制”这样的指令之后, AI就不会采取把弦乐部分铺满这种简单粗暴的做法, 而是会选择留下一定的空间空白, 让那种温暖的感受能够通过音色本身的特质来实现传递效果, 而不是依赖于音量的不断堆叠这种方式。
五、所谓的风格混搭, 其实被很多人认为是一条能够制造出新鲜感的捷径。
因为只有一种风格的话, 是比较容易变成模板的那个样子的。在这个时候, 我们可以去尝试一下混搭这种手段, 这个效果通常是比较好的, 比想象中看起来还要好一些。
实测的这个具体案例的情况是这样的: 在过年的时候想要去做一首关于新年的音乐作品, 但是内心并不希望去制作成一种非常普通的那种国风的喜庆风格。所以呢, 就直接把爵士乐里面特有的那种慵懒的感觉, 还有新年的这个主题强行搭配在了一起。
大年初一的早晨, 人醒了过来, 阳光从窗帘的缝隙里透进室内, 楼底下偶尔可以听到几声鞭炮响, 厨房里传来了动静, 于是继续赖在床上听那轻快的爵士乐, 这首曲子以钢琴独奏作为主导, 同时加入了一些轻柔的弦乐元素, 速率为每分钟六十五个八分音符, 节奏显得十分缓慢而放松, 给人一种今天完全不用去上班的满足心境, 整体听起来温暖又具有治愈力量, 洋溢着一种喜庆的氛围。
最终做出来的成果, 是带有一种节日放松的那种感觉的, 可是它又没有落入什么俗气的套路里面去。
六、实现进阶阶段的控制操作, 具体办法是通过切换到专业模式这一动作来对运动方向进行接管。
前面提到的那些提示词的模板, 你都可以在蘑兔AI的灵感模式里面直接拿来用。可是说句实在话, 如果你对最后出来的成品有着非常具体的要求的话, 那么专业模式才是那个真正起到分水岭作用的东西。
现在已经把专业模式给打开了, 这里面有歌词、风格、人声和参考素材这几个方面的控制权限。具体操作的时候, 你可以把你提前写好的一些歌词文本放到那个歌词输入框去, 然后再去那个风格的输入框里面填写上面提到过的那些提示词的模板, 等这些步骤都弄好了, 接下来只需要去点击生成就可以了。
经过实际的测试, 我们可以清楚地发现两者之间存在着非常明显的区别。当使用灵感模式的时候, 它所产生的结果仅仅是旋律部分加上了伴奏部分。而当使用专业模式的时候, 用户是完全能够听到编曲所具有的层次感的。
具体来说, 听众可以很清晰地分辨出在乐曲进行的过程中, 吉他声部是在哪个时间点进入演奏的, 鼓组是在哪个时间段被添加进去的, 以及弦乐部分是在什么时候开始铺展开来的。总而言之, 这两种模式所产生的作品, 完全可以说是属于两个完全不同维度的创作成果。
还有一个值得说的功能是参考音乐上传功能。当你脑子里有一个“想要那种感觉”的音频想法, 但是用文字描述不出来的时候, 你可以直接上传一段参考音频文件。系统会分析曲风细节、节奏特征以及乐器搭配情况。然后基于这些分析生成一首风格贴近的全新原创作品。在提示词写不出来的时候, 让AI听一遍会更快速一点。
七、进行迭代优化, 不要想着只是生成一次就完事。
AI音乐生成属于一个迭代过程, 很少会有第一次就做完美的情况, 我的工作流分成三个版本步骤。
先写一个大概的描述出来, 这样就可以听听方向是不是对的啦。
第二版: 按照第一版的版本来进行关键词的调整操作, 举个例子来说的话就是提出类似鼓点需要加重一些这种说法, 又或者提出副歌部分需要更加燃劲一点这样的要求。
这一版的情况是, 如果对整体效果感到满意, 可是觉得细节方面还差那么一点意思的话, 那么就可以把那些段落分开来优化一下, 主歌部分是需要什么样的一个感觉,副歌部分又应该是需要什么样的一个感觉, 把这些情况都给分清楚并且写明白就好。
最近一次的这个成功范例, 其实是用来给好朋友制作一首生日歌曲。
当时第一版本那个结果弄出来的时候呢, 显得过于甜腻了, 后来第二版尝试去把它改成那种温暖民谣的风格, 但依然没有改对方向, 到了第三版的时候才算是找到了感觉, 具体做法就是在里面加入海边落日的这种意象表达, 同时将具体的提示词明确描述为黄昏时的海边场景加上木吉他的声音质感以及还需要带有一点海风里的湿润气息, 整体氛围要把握在温暖的层次但是绝对不要出现任何煽情的元素, 最终这一次修改是正确的。
八、这玩意儿能让整体感觉变得更高级一些, 算是后发制人的一个办法。
在完成了配乐的生成工作之后, 如果决定把这些音乐用在口播视频的里面, 那么还有一个麻烦的问题会出现: 因为鼓点的节奏可能太过突出, 所以就把人声的部分给盖住了。
在过去那个时期呢, 创作者们只能选择重新去生成一遍音乐来碰一个好运气, 但是到了今天这个时间段, 利用蘑兔AI所提供的十二分轨这一项具体功能, 就可以把包含鼓组的那一条音轨单独地进行调低处理, 同时又要把包含人声的那条音轨向上推高, 这样一来视频就能立刻投入使用了。
在进行口播类视频的制作过程中, 只需要操作软件使得鼓组所在的轨道以及打击乐所在的轨道统一向下降低几个刻度的数值, 处于前景的人声声音就会非常清晰地展现出来了。
在生成歌曲之后, 会进入“我的作品”这个页面。接着, 需要点击“全轨分离”这个选项, 然后等待大约十几秒的时间人声、鼓、贝斯、钢琴以及弦乐这些元素就会被全部单独拆解开来。每一条轨道都是可以单独调整音量以及声像的, 同时也可以使用静音来导出纯净的伴奏版本。而且, 免费版本也可以使用这一功能。
这上面的这些提示词模型模板, 说白了, 它们全都在干同样的一件事儿。这个事儿是什么, 就是把用户心里头那个想要什么样的音乐的模糊感觉给逮住, 然后给它变成一堆能让人工智能去老老实实照着做的特别精确的指令, 让大家一看就明白。那几个表示音质的词语, 是用来解决这个音乐制作得像不像真的那么回事的问题的。
几个表示空间的词语, 是用来解决这个声音出来是扁的还是立体的问题。几个表示场景的词语, 是用来解决这个音乐到底有没有那种灵魂一样的东西进去的问题的。最后那一些什么矛盾的概念放在一起, 还有那些把不同风格硬凑一块儿的混搭用法, 主要是用来决定这个东西做出来显得高不高级的。
用户完全不需要进行下载这个过程。只要完成新用户的注册, 系统就会直接赠送20个蘑菇值。这些赠送的额度, 是足够让用户免费生成两首作品的。把上面提供的随便哪一组模板内容复制进去。再去试一试生成一首看看。等你试过了。你就会一下子就搞清楚它们之间到底存在着什么样的区别了。
关于配乐质感这个东西, 我们要清楚, 真正拼的不是手里的工具好不好, 而是对效果的描述得准不准。