使用Java拆分1GB Xml文件 [英] Split 1GB Xml file using Java

问题描述

我有一个1GB的Xml文件，如何使用Java将其拆分为格式正确的小型Xml文件？

I have a 1GB Xml file, how can I split it into well-formed, smaller size Xml files using Java ?

这是一个例子：

<records>
  <record id="001">
    <name>john</name>
  </record>
 ....
</records>

谢谢。

推荐答案

我会在这种情况下使用StAX解析器。它将阻止整个文档一次被读入内存。

I would use a StAX parser for this situation. It will prevent the entire document from being read into memory at one time.

1. 将XMLStreamReader推进到子片段的本地根元素。


2. 然后，您可以使用javax.xml.transform API从此XML片段生成新文档。这会将XMLStreamReader推进到该片段的末尾。


3. 对下一个片段重复步骤1.

代码示例

对于以下XML，将每个statement部分输出到以account attributes value命名的文件中：

For the following XML, output each "statement" section into a file named after the "account attributes value":

<statements>
   <statement account="123">
      ...stuff...
   </statement>
   <statement account="456">
      ...stuff...
   </statement>
</statements>

可以使用以下代码完成：

This can be done with the following code:

import java.io.File;
import java.io.FileReader;
import javax.xml.stream.XMLInputFactory;
import javax.xml.stream.XMLStreamConstants;
import javax.xml.stream.XMLStreamReader;
import javax.xml.transform.Transformer;
import javax.xml.transform.TransformerFactory;
import javax.xml.transform.stax.StAXSource;
import javax.xml.transform.stream.StreamResult;

public class Demo {

    public static void main(String[] args) throws Exception  {
        XMLInputFactory xif = XMLInputFactory.newInstance();
        XMLStreamReader xsr = xif.createXMLStreamReader(new FileReader("input.xml"));
        xsr.nextTag(); // Advance to statements element

        TransformerFactory tf = TransformerFactory.newInstance();
        Transformer t = tf.newTransformer();
        while(xsr.nextTag() == XMLStreamConstants.START_ELEMENT) {
            File file = new File("out/" + xsr.getAttributeValue(null, "account") + ".xml");
            t.transform(new StAXSource(xsr), new StreamResult(file));
        }
    }

} 

这篇关于使用Java拆分1GB Xml文件的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！