tensorflow-federated相关内容

使用具有batch_normalization 的resnet 18 的联邦平均(fedavg) 在第一轮后做出相同的预测,但在其他轮次中没有

我试图实现tensorflow-federated simple fedavg 与 cifar10 数据集和 resnet18.这也是 pytorch 实施.就像可训练的一样,我将批量标准化的不可训练参数汇总到服务器并对其进行平均.我使用了 5 个客户端,数据集随机分为 5 个,每个客户端有 50k/5=10k 个训练样本,所以没有严重的偏态分布.训练后,我用完整的测试数据集、10k 样本测试了每 ..

有没有一种合理的方法来创建 tff 客户端数据集?

我想知道是否有任何合理的方法可以使用 tff 核心代码为联邦学习模拟生成客户端数据集?在联邦核心的教程中,它使用 MNIST 数据库,每个客户端在他的数据集中只有一个不同的标签.在这种情况下,只有 10 个不同的标签可用.如果我想拥有更多客户,我该怎么做?提前致谢. 解决方案 如果您想从头开始创建数据集,可以使用 tff.simulation.FromTensorSlicesClientD ..
发布时间:2021-09-05 20:20:38 其他开发

如何用特定的权重初始化模型?

我正在使用示例“stateful_clients";在张量流联合示例中.我想使用我的预训练模型权重来初始化模型.我使用函数 model.load_weights(init_weight).但它似乎不起作用.第一轮的验证准确率仍然很低.我该如何解决问题? def tff_model_fn():“"“构建用于联合平均的完全初始化的模型."“"keras_model = get_five_layers ..
发布时间:2021-09-05 20:18:29 其他开发

对服务器和客户端之间的通信执行的操作

联邦学习研究的一部分基于对服务器和客户端之间的通信执行的操作,例如删除客户端和服务器之间交换的部分更新(删除一些描述模型的梯度)或丢弃来自特定客户端的更新一定的沟通回合.我想知道 Tensorflow-federated (TFF) 框架是否支持这些功能以及它们是如何支持的,因为乍一看,TFF API 的抽象级别似乎不允许这样的操作.谢谢. 解决方案 TFF 的语言设计有意避免了客户端身份 ..
发布时间:2021-09-05 19:51:49 其他开发

张量流联邦学习检查点

我正在研究带有 tensorflow 联合 API 的 federated_learning_for_image_classification.ipynb. 在示例中,我可以检查每个模拟客户训练的准确度、损失和总准确度、总损失. 但是没有检查点文件. 我想制作每个客户端检查点文件和总检查点文件. 然后比较客户端参数变量和总参数变量. 谁能帮我在 federated_l ..
发布时间:2021-09-05 19:37:56 其他开发

如何创建使用几个客户端权重的 FL 算法?

基于此我写一种新的FL算法方式.我训练所有客户端并将所有客户端的模型参数发送到服务器,服务器在聚合过程中只会对所有客户端的30%的模型参数进行加权平均.作为选择 30% 客户端模型参数的标准,我想使用 weights_delta 30% 客户端的loss_sum 客户端进行加权平均.> 下面的代码是针对这个 @tff.federated_computation(federated_serve ..
发布时间:2021-09-05 19:33:32 其他开发

Tensorflow Federated-Learning 是否仅用于在一台机器上模拟联邦学习?

我阅读了多个关于 https://www.tensorflow.org/federated/federated_learning例如图像分类或文本生成示例. 从我读到的内容来看,我看不出如何将 tensorflow 联合学习 (tff) 用于现实世界的应用程序:多个硬件客户端上的数据集.这一切看起来只是为了模拟联邦学习. 我想在多台机器上使用 tff 而不是只在一台机器上模拟它.如果有 ..
发布时间:2021-09-05 19:32:29 其他开发

tensorflow联合训练和评估期间的MSE误差不同

我正在 tensorflow federated 中实现回归模型.我从本教程中用于 keras 的简单模型开始:https://www.tensorflow.org/tutorials/keras/regression 我将模型更改为使用联邦学习.这是我的模型: 将pandas导入为pd将张量流导入为 tf从 tensorflow 导入 keras从 tensorflow.keras 导入 ..

混合 TensorFlow 和 TensorFlow Federated 代码的推荐方法是什么?

TensorFlow (TF) 和 TensorFlow Federated (TFF) 是不同的功能层,旨在很好地协同工作(顾名思义). 不过,它们是不同的东西,旨在解决不同的问题. 我想知道以一种既可以被 vanilla TF 也可以在 TFF 工作负载中使用的方式来描述计算的最佳方式,以及人们可能想要避免的那种陷阱. 解决方案 很好的问题.事实上,至少有 3 种方法可以组 ..
发布时间:2021-09-05 19:01:51 Python

使用 ValueError 构建自定义联合平均过程:层顺序需要 1 个输入,但它收到 3 个输入张量

我正在尝试从 csv 加载数据集并对可用数据执行一些联合学习. 我设法从给定的 csv 文件加载联合数据集并加载训练和测试数据. 我现在的问题是如何重现一个工作示例来构建一个迭代过程,该过程对这些数据执行自定义联合平均. 这是我的代码,但它不起作用: 导入集合导入操作系统将 numpy 导入为 np将熊猫导入为 pd将张量流导入为 tf将 tensorflow_federate ..
发布时间:2021-09-05 19:01:08 Python

收集客户返回的权重而不进行汇总

我想知道最简单的方法来创建模型,使用联邦的tensorflow广播模型,运行一个周期并收集客户端返回的权重而不将它们与fedavg进行汇总. 解决方案 TFF提供了 simple_fedavg ,我认为这是使用TFF较低级别功能的合理起点. 这里有几件事要注意.首先,据我所知,没有一个“生产"系统支持 federated_collect .其次,根据您的需求,可能有一个更简单,更直接 ..
发布时间:2021-05-31 18:41:48 AI人工智能

(已解决)Tensorflow联合| tff.learning.from_keras_model()与具有DenseFeature层和多个输入的模型

我正在尝试联合具有多个输入的keras模型. 这些输入中的一些是分类的,其中一些是数字的,所以我有一些DenseFeature层可以嵌入这些值. 问题是使用 tff.learning.from_keras_model()将仅包含2个元素(x,y)的字典作为input_spec,但是我有多个输入,然后我必须在模型以通过feature_columns函数和DenseFeature图层正确执行嵌入 ..
发布时间:2021-02-14 20:48:21 Python

如何从CSV文件创建联合数据集?

我选择了此数据集: https://www.kaggle.com/karangadiya/fifa19 现在,我想将此CSV文件转换为联合数据集以适合模型. Tensorflow提供了有关联合学习的教程,其中他们使用了预定义的数据集.但是,我的问题是如何在联邦学习方案中使用此特定数据集? 解决方案 我将使用其他CSV数据集,但这仍将解决此问题的核心,即如何从CSV创建联合数据集 ..
发布时间:2020-07-22 21:44:41 其他开发

在联合培训中实施数据生成器

(我已将问题发布在 https://github.com/tensorflow/federated/Issues/793 ,也许也在这里!) 我已经为联合界面定制了自己的数据和模型,并进行了融合培训.但是我对一个问题感到困惑,在图像分类任务中,整个数据集非常大,无法将其存储在单个federated_train_data中,也无法一次导入到内存中.因此,我需要将数据集从硬盘上实时地批量加载到内 ..
发布时间:2020-07-22 21:44:38 其他开发