CANN/ops-nn LAMB优化器更新算子-迪斯科星球

LambUpdateWithLr

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn

产品	是否支持
Ascend 950PR/Ascend 950DT	√

算子功能：BERT LAMB优化器图融合算子（信任比权重更新，含裁剪）：计算信任比并用minimum_y/greater_y做上下界裁剪后更新参数input_sub。
计算公式：

$ratio = where(input_greater1>greater_y,\ input_greater_realdiv/input_realdiv,\ select_e)$

$clip = max(min(ratio,\ minimum_y),\ greater_y)$

$y = input_sub - clip \times input_mul0 \times input_mul1$

参数名	输入/输出	描述	数据类型	数据格式
input_greater1	输入	公式中的input_greater1。	FLOAT16、FLOAT	ND
input_greater_realdiv	输入	公式中的input_greater_realdiv。	FLOAT16、FLOAT	ND
input_realdiv	输入	公式中的input_realdiv。	FLOAT16、FLOAT	ND
input_mul0	输入	公式中的input_mul0。	FLOAT16、FLOAT	ND
input_mul1	输入	公式中的input_mul1。	FLOAT16、FLOAT	ND
input_sub	输入	公式中的input_sub。	FLOAT16、FLOAT	ND
greater_y	输入	公式中的greater_y。	FLOAT16、FLOAT	ND
select_e	输入	公式中的select_e。	FLOAT16、FLOAT	ND
minimum_y	输入	公式中的minimum_y。	FLOAT16、FLOAT	ND
y	输出	公式中的y。	FLOAT16、FLOAT	ND

无

调用方式	调用样例	说明
图模式调用	test_geir_lamb_update_with_lr	通过算子IR构图方式调用LambUpdateWithLr算子。

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考