out-of-memory相关内容
我正在处理 android 上的 http get 请求. 我从服务器收到大量 json 数据,字符串无法处理或存储该数据并出现 OutOfMemory 异常. 然后我尝试将其保存在可以存储最大 Integer.Maximum 值的 arrayList 中.但在 ~8970 位置存储时出现 OutOfMemory 异常. 这是我的链接,其中包含 json 数据. http:
..
我正在处理 android 上的 http get 请求. 我从服务器收到大量 json 数据,字符串无法处理或存储该数据并出现 OutOfMemory 异常. 然后我尝试将其保存在可以存储最大 Integer.Maximum 值的 arrayList 中.但在 ~8970 位置存储时出现 OutOfMemory 异常. 这是我的链接,其中包含 json 数据. http:
..
当您需要相互比较 2 个非常大的数组列表时,正确的方法是什么? 这些数组列表的大小都是 100,000 个项目,并且在简单地比较每个项目的项目时肯定会崩溃. for (CItem c : cItems) {for (CItem r : rItems) {如果 (c.getID().equals(r.getID())) {不匹配 m = compareItems(c, r);如果(米!=空)
..
当您需要相互比较 2 个非常大的数组列表时,正确的方法是什么? 这些数组列表的大小都是 100,000 个项目,并且在简单地比较每个项目的项目时肯定会崩溃. for (CItem c : cItems) {for (CItem r : rItems) {如果 (c.getID().equals(r.getID())) {不匹配 m = compareItems(c, r);如果(米!=空)
..
这是一个理论问题. java applet 上的大量系统会导致applet 内存不足吗? 如果是,删除跨多个文件的多个系统输出的简单解决方案是什么? 解决方案 如果 x.toString() 使用过多内存,单个 System.out.println(x) 可能会导致内存不足错误. java 小程序是否会出现大量系统溢出,导致小程序内存不足? 重要的是结果字符串的大小
..
我是 Scala 语言的新手. 我需要 Long 类型的 Range. 我需要一个包含 [1, 2, 3 ... 10000000] 的列表和第 1 步.如果我使用 until/to,我会因为使用 Long 而不是 Int 得到一个错误. 我尝试编写一个简单的函数,它需要一个开始、一个结束和一个空列表,并生成一个 [start .. end] 的列表. 这是我的功能: d
..
我正在尝试从(大型)文本文档(TF-IDF 向量)集合中在 MLLib 上运行 KMeans.文档通过 Lucene 英语分析器发送,稀疏向量由 HashingTF.transform() 函数创建.无论我使用的并行度如何(通过合并函数),KMeans.train 总是在下面返回一个 OutOfMemory 异常.关于如何解决这个问题的任何想法? 线程“main"中的异常 java.lang.O
..
我的集群:1个master,11个slave,每个节点有6GB内存. 我的设置: spark.executor.memory=4g, Dspark.akka.frameSize=512 问题来了: 首先,我从 HDFS 读取一些数据(2.19 GB)到 RDD: val imageBundleRDD = sc.newAPIHadoopFile(...) 第二,在这个RDD上做点
..
我尝试创建一个小实用程序,它可以读取 excel 并发送电子邮件.我为此使用了 ApachePOI 库.当我从 Eclipse 执行代码时,最初我收到 java.lang.OutOfMemoryError: GC 开销限制超出 错误.然后我在eclipse的VM Arguments中添加了-Xms1024m,程序在eclipse中运行良好. 然后我将这组java程序和库导出到Runnable
..
我正在尝试使用 Apache POI XSSF 库解析大型 excel 文件 (.xlsx).在 100,000 行之后,它会引发堆空间错误.我尝试增加内存,但没有帮助.这个问题有解决方法吗?或者有人可以建议我使用另一个库来解析大型 excel 文件. 谢谢! 解决方案 您可以使用 http://poi.apache.org/spreadsheet/how-to.html#xssf_
..
我正在尝试编写一个非常大的 XLSX 文件(超过 400 万个单元格),但遇到了一些内存问题. 我无法使用 SXSSF,因为我还需要读取模板中的现有单元格. 我可以做些什么来减少内存占用? 也许结合流式阅读和流式写作? 解决方案 要处理低内存的大数据,最好的,我认为唯一的选择是 SXSSF api-s.如果您需要读取现有单元格的一些数据,我假设您不需要同时需要整个 4M+.在
..
我正在尝试使用最新的 Apache poi 创建一个包含 30 列和 100 万条记录的大型 excel 2010.我正在按照此链接中的描述创建 http://svn.apache.org/repos/asf/poi/trunk/src/examples/src/org/apache/poi/xssf/usermodel/examples/BigGridDemo.java.但我希望列宽与列标题文本
..
我正在开发一个从 excel 文件 (xlsx) 读取数据的 Web 应用程序.我正在使用 POI 来阅读 Excel 表格.问题是当我尝试读取excel文件时,服务器抛出以下错误: 我试图读取的 excel 文件的大小接近 80 MB.这个问题有什么解决办法吗? 实际上用户在将文件保存到磁盘后正在上传文件和应用程序尝试读取文件.我用于测试的代码片段是: File savedFil
..
我需要自动适应大(30k+ 行)xlsx 文件中的所有行. 通过 apache poi 的以下代码适用于小文件,但在大文件上会出现 OutOfMemoryError: Workbook workbook = WorkbookFactory.create(inputStream);Sheet sheet = workbook.getSheetAt(0);for(行行:工作表){row.set
..
我有一个很大的 .xlsx 文件(141 MB,包含 293413 行,每行 62 列)我需要在其中执行一些操作. 我在加载此文件时遇到问题 (OutOfMemoryError),因为 POI 在 XSSF (xlsx) 工作簿上占用大量内存. 这个问题 类似,提出的解决方案是增加 VM 的分配/最大内存. 它似乎适用于那种文件大小(9MB),但对我来说,即使分配了所有可用的系统
..
当我尝试在一个很小的 (3KB) 随机生成的示例数据集上执行一个非常简单的 GROUP BY 时,我从 Pig 收到 OutOfMemory 异常. 猪脚本: $ cat example.pig原始 =加载'示例数据'使用 PigStorage()AS (thing1_id:int,thing2_id:int,名称:字符数组,时间戳:长);分组 =GROUP raw BY thing1
..
这是我的 UDF: public DataBag exec(Tuple input) 抛出 IOException {聚合aggregateOutput = null;int溢出计数= 0;DataBag outputBag = BagFactory.newDefaultBag();DataBag 值 = (DataBag)input.get(0);for (Iterator iterator
..
我目前正在使用 Kafka Connect S3 Sink Connector 3.3.1 用于将 Kafka 消息复制到 S3,并且在处理延迟数据时出现 OutOfMemory 错误. 我知道这看起来是一个很长的问题,但我已尽力使其清晰易懂.我非常感谢您的帮助. 高级信息 连接器对 Kafka 消息进行简单的字节到字节复制,并在字节数组的开头添加消息的长度(用于解压). 这是
..
我正在尝试使用 Apache Commons FileUtils.lineIterator 逐行迭代一个 1.2GB 的文件.但是,一旦 LineIterator 调用 hasNext(),我就会得到一个 java.lang.OutOfMemoryError: Java heap space.我已经为java堆分配了1G. 我在这里做错了什么?在阅读了一些文档后,LineIterator 是
..
我试图在 Ignite 缓存中缓存一些静态数据,以便更快地查询,因此我需要从 DataBase 读取数据以便将它们插入缓存集群. 但行数大约为 300 万,通常会导致 OutOfMemory 错误,因为 SqlComponent 试图将所有数据作为一个整体处理,并尝试一劳永逸地收集它们. 在读取结果集时有什么方法可以拆分它们(例如每个 Exchange 1000 个项目)? 解决
..