MIXED tf.keras.MIXED_PRECISION是否适用于推理？ [英] Does mixed tf.keras.mixed_precision work for inference?

问题描述

我不确定我是否理解了TensorFlow Kerasmixed precision的概念。我的目标是运行浮点16精度的tf.keras模型，以提高推理速度。这能以混合精度完成吗？

我正在培训我的模型之前设置此策略：

from tensorflow.keras.mixed_precision import experimental as mixed_precision
policy = mixed_precision.Policy('mixed_float16')
mixed_precision.set_policy(policy)

或者这只是为了加速训练。如果是这种情况，我如何实现tf.keras模型的权重/激活以达到fp16精度？

注意：我正在使用tensorflow==2.3.0

推荐答案

您提到的链接中的培训精度参差不齐。 NVIDIA有更深入的信息，这意味着什么： https://docs.nvidia.com/deeplearning/performance/mixed-precision-training/index.html

本文描述了实际过程，以及如何以及为什么在fp32中将fp16权重的副本作为主权重(因此混合了精度)。 https://arxiv.org/pdf/1710.03740.pdf

但硬件中也有混合精度运算，当您的数据为fp32并且权重/偏差为fp16时，这些运算可以加速您的推理，并且硬件支持混合精度运算，这可以大大加快推理速度。

例如，使用NVIDIA T4，我在YOL03上的加速比为~2，但在NVIDIA 1080上没有加速比。

这篇关于MIXED tf.keras.MIXED_PRECISION是否适用于推理？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！