executor相关内容

等待任何未来的异步

我正在尝试使用Asyncio来处理并发网络I/O。要在单个点调度非常多的功能，每个功能完成的时间差别很大。然后，将在每个输出的单独进程中处理接收到的数据。 处理数据的顺序无关紧要，因此考虑到输出可能会有很长的等待期，我希望await无论将来先完成什么，而不是按预定义的顺序。 def fetch(x): sleep() async def main(): futures ..

发布时间：2022-03-25 14:27:03 python python-3.x python-asyncio executor Python

数据库作业超时，出现错误：[IP]上的Executor 0丢失。取消关联的远程RPC客户端

完全错误：Databricks作业超时，错误：[IP]上的Executor 0丢失。远程RPC客户端已解除关联。可能是由于容器超过阈值或网络问题。检查驱动程序日志中的警告消息。 我们正在Azure Databricks订阅上使用Job API 2.0运行作业，并使用Pools接口来缩短派生时间，并使用Worker/Driver作为Standard_DS12_v2。 我们有一个作业(JAR ..

发布时间：2022-03-24 23:03:55 apache-spark driver databricks azure-databricks executor 其他开发

Spark on YARN 资源管理器:YARN Containers 和 Spark Executors 之间的关系

我是 YARN 上的 Spark 新手，不了解 YARN Containers 和 Spark Executors 之间的关系.我根据 yarn-utils.py 脚本的结果尝试了以下配置，可用于找到最佳集群配置. 我正在开发的 Hadoop 集群 (HDP 2.4): 1 个主节点: CPU:2 个 CPU，每个 CPU 6 个内核 = 12 个内核 内存:64 GB SSD: ..

发布时间：2022-01-24 20:33:53 apache-spark containers hadoop-yarn hortonworks-data-platform executor 其他开发

优雅地为 ExecutorServices 实现队列长度指示器

为什么，哦，为什么java.util.concurrent 不为其ExecutorService 提供队列长度指标?最近我发现自己在做这样的事情: ExecutorService queue = Executors.newSingleThreadExecutor();AtomicInteger queueLength = new AtomicInteger();...公共无效addTaskToQ ..

发布时间：2022-01-21 12:13:40 java concurrency queue executorservice executor Java开发

在 Java 中运行基于 CPU 的任务的简单程序的最佳线程池大小是多少

我使用线程池来执行任务，这些任务主要是基于 CPU 和一些 I/O，大小比cpu数量大一. Executors.newFixedThreadPool(Runtime.getRuntime().availableProcessors() + 1) 假设一个简单的程序将它的所有任务提交给这个执行器并且几乎不做其他事情我认为有一个更大的线程池会减慢速度，因为操作系统必须对它的 CPU 进行时间切片， ..

发布时间：2021-12-28 22:50:24 java concurrency threadpool executor Java开发

我们什么时候应该使用 Java 的 Thread 而不是 Executor?

Executor 似乎是一个干净的抽象.你什么时候想直接使用 Thread 而不是依赖更健壮的执行器? 解决方案 为了说明历史，Executors 仅作为 Java 1.5 中的 Java 标准的一部分添加.所以在某些方面 Executor 可以被看作是处理 Runnable 任务的一种新的更好的抽象. 有点过于简化了... - Executors 是正确完成的线程，因此优先使用它们 ..

发布时间：2021-12-28 22:41:02 java multithreading concurrency executor Java开发

队列满时线程池执行器阻塞?

我正在尝试使用 ThreadPoolExecutor 执行大量任务.下面是一个假设的例子: def workQueue = new ArrayBlockingQueue(3, false)def threadPoolExecutor = new ThreadPoolExecutor(3, 3, 1L, TimeUnit.HOURS, workQueue)for(int i = 0; i 问题 ..

发布时间：2021-12-28 22:38:27 java multithreading concurrency executorservice executor Java开发

对 Future.get() 块的方法调用.这真的是可取的吗?

在将其标记为重复之前，请仔细阅读问题. 下面是伪代码的片段.我的问题是 - 下面的代码不会破坏并行异步处理的概念吗? 我问这个的原因是因为在下面的代码中，主线程将提交一个要在不同线程中执行的任务.在队列中提交任务后，它会阻塞 Future.get() 方法让任务返回值.我宁愿让任务在主线程中执行，而不是提交到不同的线程并等待结果.通过在新线程中执行任务，我获得了什么? 我知道你可 ..

发布时间：2021-12-14 20:49:12 java multithreading asynchronous executorservice executor Java开发

Spark Streaming 中如何将作业分配给执行器?

假设我在 Spark Streaming 应用程序中有 2 个或更多执行程序. 我将批处理时间设置为 10 秒，因此每 10 秒启动一次作业，从我的 HDFS 读取输入. 如果每个作业持续时间超过 10 秒，那么新启动的作业会被分配给一个空闲的执行者，对吗? 即使上一个没有完成? 我知道这似乎是一个显而易见的答案，但我没有在网站或与 Spark Streaming 相关的论 ..

发布时间：2021-12-09 23:50:19 job-scheduling apache-spark executor 其他开发

如果ThreadPoolExecutor 的submit() 方法已饱和，如何使其阻塞?

我想创建一个 ThreadPoolExecutor 以便当它达到最大大小并且队列已满时，submit() 方法阻塞 尝试添加新任务时.我是否需要为此实现自定义 RejectedExecutionHandler 或者是否有使用标准 Java 库的现有方法来执行此操作? 解决方案 我刚刚找到的可能解决方案之一: public class BoundedExecutor {私人最终执行者执行； ..

发布时间：2021-11-25 18:05:11 java concurrency executor Java开发

Java executors:当任务完成时如何在不阻塞的情况下收到通知?

假设我有一个队列，里面装满了我需要提交给执行程序服务的任务.我希望他们一次处理一个.我能想到的最简单的方法是: 从队列中取出一个任务 提交给执行者 在返回的 Future 上调用 .get 并阻塞直到结果可用 从队列中取出另一个任务... 但是，我试图避免完全阻塞.如果我有 10,000 个这样的队列，它们需要一次处理一个任务，我将耗尽堆栈空间，因为它们中的大多数将保持阻塞线程. ..

发布时间：2021-11-25 15:05:45 java callback notify executor Java开发

Spark Streaming 中如何将作业分配给执行程序?

假设我在 Spark Streaming 应用程序中有 2 个或更多执行程序. 我将批处理时间设置为 10 秒，因此每 10 秒启动一次作业，从我的 HDFS 读取输入. 如果每个作业持续时间超过 10 秒，那么新启动的作业会被分配给一个空闲的执行者，对吗? 即使上一个没有完成? 我知道这似乎是一个显而易见的答案，但我没有在网站或与 Spark Streaming 相关的论 ..

发布时间：2021-11-12 05:45:54 job-scheduling apache-spark executor 其他开发

Java 调度执行器准确性

我在使用 Java 调度执行器时遇到了一个特殊情况，想知道我遇到的情况是否正常. 我需要安排以预定义的 5 秒速率执行的任务.预计这些任务的执行时间会不时超过 5 秒，但是当运行它们的时间低于 5 秒时，备份的任务列表应快速连续运行以赶上.运行任务时，了解原始计划执行时间是很重要的(想想 java.util.TimerTask 中的 scheduledExecutionTime()).最后， ..

发布时间：2021-07-16 19:22:55 java scheduling executor Java开发

暂停 ScheduledExecutorService

我正在使用 ScheduledExecutorService 来执行以固定速率调用服务的任务.服务可能会向任务返回一些数据.该任务将数据存储在队列中.其他一些线程慢慢地从队列中挑选项目 import java.util.concurrent.BlockingQueue;导入 java.util.concurrent.LinkedBlockingQueue;导入 java.util.concurr ..

发布时间：2021-07-16 19:14:17 java scheduled-tasks executor Java开发

Spring ThreadPoolTask​​Scheduler 与 ThreadPoolTask​​Executor

Spring 文档中提到了这一点 即: ThreadPoolTask​​Scheduler 实际上也实现了 Spring 的 TaskExecutor 接口，这样单个实例就可以尽快用于异步执行，并且可以按计划进行，并且可能会重复执行，处决. 那么在哪些场景中我们希望使用 ThreadPoolTask​​Executor 实例而不是 ThreadPoolTask​​Scheduler 实 ..

发布时间：2021-07-16 19:13:15 spring task scheduled-tasks threadpoolexecutor executor 其他开发

Spring TaskExecutor 实现队列优先级

我正在处理的应用程序接收来自我想要处理的外部系统的通知. 到目前为止，我有以下实现: 公共类 AsynchronousServiceImpl 实现 AsynchronousService {私有 TaskExecutor taskExecutor;@覆盖public void executeAsynchronously(Runnable task) {taskExecutor.execu ..

发布时间：2021-06-30 19:31:49 java spring queue executor Java开发

asyncio:是否可以取消由 Executor 运行的未来?

我想使用 asyncio 调用 loop.run_in_executor 在 Executor 中启动一个阻塞函数，然后稍后取消它，但这似乎对我不起作用. 代码如下: 导入异步导入时间从 concurrent.futures 导入 ThreadPoolExecutordefblocking_func(seconds_to_block):对于我在范围内(seconds_to_block):p ..

发布时间：2021-06-25 20:19:46 python executor event-loop python-asyncio Python

Java - 等待和通知的理想使用?

到目前为止，这段代码在测试中似乎运行良好.但是，我是多线程方面的新手，想知道这段代码是否理想，因为我知道有很多关于并发的“错误". 有没有更好的方法可以在单个线程上为排队的 Runnable 制作执行程序?这是我第一次制作，所以我倾向于相信可以做得更好. 公共类 ExplosionExecutor{私有静态列表队列 = 新的 ArrayList();私有静态线程线程=新线程 ..

发布时间：2021-06-04 20:47:09 java multithreading wait notify executor Java开发

适用于非线程安全代码的执行器

我正在使用线程池开发一些最终将成为多线程的代码 ExecutorService ，因为它是关于关于 Executor ，而不是(复杂得多) Executors.newSingleThreadExecutor() 足以测试非线程安全代码，尽管生成的程序具有两个线程(运行单元测试的线程和 ExecutorService 的单个线程池线程).这是因为 ExecutorService 必须提供以下线程安全 ..

发布时间：2021-05-18 19:43:42 java multithreading unit-testing executor Java开发

执行者提交后，Future是否立即为isDone()返回false?

找不到有关 executor.submit()调用的未来状态的文档. 示例: byte [] b =新的字节[4000000];新的Random().nextBytes(b);Callablec = new SorterCallable(b);ExecutorService执行程序= Executors.newCachedThreadPool();Future ..

发布时间：2021-05-09 20:28:03 java future executor Java开发