scala - java.io.FileNotFoundException: Too many open files in system

查看:129
本文介绍了scala - java.io.FileNotFoundException: Too many open files in system的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

问 题

mac 上的JVM 报错 java.io.FileNotFoundException: x-data/v_data.csv (Too many open files in system)

1 已经设置了系统的文件访问数量
$ sysctl kern.maxfiles
kern.maxfiles: 65536

2 需要同时读取 3000个csv文件

请问,是否需要对jvm作配置?

解决方案

只获取文件句柄不释放吗?

不管读取多少文件也好,完成的顺序肯定是不一样的,这当中先有一些文件被读取完成,释放文件句柄如此循环。
打个简单的比方你现在是1核的CPU那同时只有有一个线程运行。同时读取3000个文件你是有3000核的CPU吗?并且还要同时运行3000个线程么?

这篇关于scala - java.io.FileNotFoundException: Too many open files in system的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆