ray相关内容

列表不会随着 Ray 并行 python 改变

我的问题是，如果我重新分配列表中的一个项目，使得重新分配发生在并行进程中，那么在并行进程完成后，更改将恢复到其原始状态. 在下面的示例中 - 为便于理解而进行了大大简化 - 我有一个函数将列表元素 NoZeros[0] 更改为“chicken"，第二个函数将 NoZeros[1] 更改为“sandwich".我什至在第二个函数中加入了“global"，只是为了证明这不是局部与全局的问题——它 ..

发布时间：2021-11-30 12:16:03 list indexing parallel-processing assign ray 其他开发

装饰器函数来包装一个函数?

我必须编写一个虚拟函数来让我的代码在不同的系统上运行，其中一些没有所需的包.该函数被包装，然后像 class 函数一样被调用.我正在努力解决这个问题，有什么想法可以做到吗? 这里有一个简短的片段，我导入了一个 python 脚本 ray.py，它应该包含这个 remote() 函数.remote 函数必须接受两个参数，没有任何用法. 编辑:@ray.remote() 将 run() 函 ..

发布时间：2021-09-29 18:40:22 python decorator wrapper ray Python

错误:`callbacks` 必须是返回 DefaultCallbacks 子类的可调用方法，得到

当我运行一些代码(DDPG - Deep Deterministic Policy Gradient)时，发生了这个错误:ValueError: callbacks must be a callable method that return a subclass of DefaultCallbacks, got ..

发布时间：2021-07-07 18:56:50 python reinforcement-learning ray rllib Python

在多处理中使用共享数组

我正在尝试在 python 中运行一个并行进程，其中我必须根据某些条件从大数组中提取某些多边形.大数组有 10k+ 个被索引的多边形. 在一个 extract_polygon 函数中，我传递了(数组，索引).基于索引，该函数必须根据定义的条件返回或不返回与该索引对应的多边形.该数组永远不会更改，仅用于根据提供的索引读取多边形. 由于数组非常大，我在并行处理过程中遇到内存不足错误.我怎样 ..

发布时间：2021-06-04 20:03:22 python multithreading ray Python

如何与 tensorflow 保存的模型预测器并行进行推理?

TensorFlow 版本:1.14 我们当前的设置是使用 tensorflow estimators 进行实时 NER，即一次执行一个文档的推理.我们有 30 个不同的字段要提取，每个字段运行一个模型，所以总共有 30 个模型. 我们当前的设置使用 python 多处理并行进行推理.(推理是在 CPU 上完成的.)这种方法会在每次做出预测时重新加载模型权重. 使用此处提到的方法 ..

发布时间：2021-06-04 19:54:21 python tensorflow multiprocessing python-multiprocessing ray Python

为什么tensorboard不能显示所有指标?

我正在使用Ray Tune进行超参数优化和记录.Ray Tune成功记录了我的标量值并将其写入Tensorboard日志. 这些值确实显示在Tensorboards的"SCALARS"部分中，但是在"HPARAMS"部分中，只有 test_acc 显示为度量. 这是我记录值的方式: track.log(pgd_loss = pgd_loss，pgd_acc = pgd_acc，te ..

发布时间：2021-05-30 20:37:36 logging tensorboard ray 其他开发

如何在Ray中使用python登录?

我在主要功能/流程中使用了日志记录模块，它运行良好，但似乎无法在Actor流程/子流程中运行.如何使其运作?在下面的代码示例中，logging.info在主进程中工作，但在工作进程中失败.谢谢. 导入日志记录导入光线@ ray.remote类Worker(对象):...定义火车(自己):logging.info(“失败打印")...工人= Worker.remote()ray.get(worke ..

发布时间：2021-05-30 20:29:45 python logging ray Python

使用docker在AWS ray集群上启动简单的python脚本

我发现要遵循ray准则来在ray集群上运行docker映像以执行python脚本非常困难.我发现缺少简单的工作示例. 所以我有最简单的docker文件: FROM rayproject/rayWORKDIR/usr/src/app复制 ..CMD ["step_1.py"]ENTRYPOINT ["python3"] 我用它来创建罐头映像并将其推送到docker hub.("myim ..

发布时间：2021-04-22 19:44:55 amazon-ec2 multiprocessing cluster-computing distributed-computing ray 其他开发

为Ray actor功能实现缓存

我的目标是使下面的代码在大约0.3而不是0.5秒的时间内执行.我试过在 foo functools.lru_cache ， toolz.functoolz.memoize 和 kids.cache.cache 中的装饰器/code>，但没有一个起作用(错误消息或未正确执行).我该怎么做才能使这项工作成功? 导入ray@ ray.remoteFoo类:def foo(self，x):print(“ ..

发布时间：2021-04-21 18:44:21 python caching ray functools toolz Python

发送一些数据包后脚本中断功能

我正在编写一个Python程序，该程序在指定的时间内发送数据包. 发送脚本: import套接字导入时间导入网络参数导入射线ray.init()transformer_sending_time = 0final_message_sent =假@ ray.remotedef send_message():“"将异常测量结果发送到由networkparam模块指定的指定IP地址或端口号参数- ..

发布时间：2021-04-15 20:20:50 python sockets while-loop blocking ray Python

列表不会随着Ray parallel python改变

我的问题是，如果我重新分配列表中的项目，以便在并行过程中发生重新分配，那么在并行过程完成后，更改将恢复为原始状态. 在下面的示例中(为了易于理解而大大简化了)，我有一个将列表元素NoZeros [0]更改为“鸡肉"的函数，以及另一个将NoZeros [1]更改为“三明治"的函数.我什至在第二个函数中添加了"global"，只是为了证明这不是局部问题还是全局问题，它看起来像一个问题，但实际上并 ..

发布时间：2021-04-12 18:33:17 list indexing parallel-processing assign ray 其他开发

Ray Tune:调度程序和搜索算法如何交互?

在我看来，将超频带与贝叶斯优化搜索集成在一起的自然方法是让搜索算法确定每个托架，并让超频带调度程序运行托架.也就是说，贝叶斯优化搜索每个括号仅运行一次.查看 Tune 的尤其是，我想知道Tune库如何处理搜索算法和试用计划程序之间的传递.例如，如果我按以下方式一起调用SkOptSearch和AsyncHyperBandScheduler(或HyperBandScheduler)，这将如何工作: ..

发布时间：2020-07-05 05:43:50 deep-learning hyperparameters ray 其他开发

Ray群集配置file_mounts部分不允许工作节点启动

我正在尝试使用配置文件中的file_mounts块将少量文件分发到AWS EC2上的Ray集群中的每个节点:- file_mounts:{ "./":"./run_files" } 集群仅在主节点启动时，已将run_files目录的内容正确复制到该主节点上.但是，请求的两个工作程序节点不会启动.如果我省略file_mounts部分，则工作程序启动. Ray监视器指示在Anaconda3 ..

发布时间：2020-07-05 05:42:48 python amazon-ec2 ray Python

在Actor对象中的方法上使用远程调用时是否阻塞?

执行以下命令不能同时工作，而是先执行Run1并阻塞直到完成，然后再执行Run2. @ray.remote class Test: def __init__(self): pass def Run1(self): print('Run1 Start') sleep(5) print('Run1 End') ..

发布时间：2020-07-05 05:42:44 ray 其他开发

在EC2主节点上初始化Ray时出错

我正在使用Ray在AWS EC2的Ubuntu 14.04集群上运行并行循环.以下Python 3脚本在只有4个工作线程的本地计算机上运行良好(导入和本地初始化被忽略):- ray.init() #initialize Ray @ray.remote def test_loop(n): c=tests[n,0] ..

发布时间：2020-07-05 05:42:41 python-3.x amazon-ec2 ray 其他开发

rllib使用自定义注册环境

Rllib文档提供了有关如何创建和训练自定义环境的一些信息.有一些有关注册该环境的信息，但我想它的工作方式与健身房注册. 我正在使用 SimpleCorridor 环境.如果我将注册码添加到文件中，如下所示: from ray.tune.registry import register_env class SimpleCorridor(gym.Env): ... def e ..

发布时间：2020-07-05 05:42:37 python openai-gym ray Python

ap_uniform_sampler()缺少1个必需的位置参数:Python的Ray Tune程序包中的"high"

我正在尝试使用Ray Tune 程序包对超参数进行调整使用纯Tensorflow实现的LSTM.我使用了超频调度程序和 TypeError:ap_uniform_sampler()缺少1个必需的位置 论点:“高" 下面显示的是堆栈跟踪: FutureWarning:不建议将issubdtype的第二个参数从float转换为np.floating.将来，它将被视为np.float64 ..

发布时间：2020-07-05 05:42:29 python-3.x tensorflow hyperparameters ray hyperopt 其他开发

Ray EC2群集上的工作程序节点状态:更新失败

我现在有一个在EC2(Ubuntu 16.04)上运行的Ray群集，它具有一个c4.8xlarge主节点和一个相同的工作线程.我想检查是否正在使用多线程，因此我进行了测试，以增加同一9秒任务的数量(n).由于该实例具有18个CPU，因此我预计该作业将花费大约9s的时间，最多n 相反，集群仅并行处理最多14个任务，然后执行时间跃升至40s，并随着n的增加而持续增加.当我尝试使用c4xlarge主服 ..

发布时间：2020-05-24 21:43:26 amazon-ec2 parallel-processing cluster-computing ray 其他开发

如何正确运行ray?

试图了解如何正确使用ray进行编程. 以下结果似乎与ray的性能改进不一致，如此处. 环境: Python版本:3.6.10 ray版本:0.7.4 这是机器规格: >>> import psutil >>> psutil.cpu_count(logical=False) 4 >>> psutil.cpu_count(logical=True) 8 >>> mem ..

发布时间：2020-05-13 20:14:16 python python-3.x parallel-processing multiprocessing ray Python

RAY Python框架内存不足

我用ray创建了一个简单的远程功能，该功能占用很少的内存.但是，运行一小段时间后，内存稳定增加，并且出现RayOutOfMemoryError异常. 以下代码是此问题的非常简单的示例. "result_transformed" numpy数组被发送给工作程序，每个工作程序都可以在此工作.我简化的calc_similarity函数什么也不做，但是仍然用完内存.我为该方法添加了更长的睡眠时间来模 ..

发布时间：2020-05-08 22:30:07 numpy memory-management multiprocessing python-3.7 ray Python