使用 Java 拆分 1GB Xml 文件 [英] Split 1GB Xml file using Java

问题描述

我有一个 1GB 的 Xml 文件，如何使用 Java 将其拆分为格式良好、尺寸较小的 Xml 文件?

I have a 1GB Xml file, how can I split it into well-formed, smaller size Xml files using Java ?

这是一个例子:

<records>
  <record id="001">
    <name>john</name>
  </record>
 ....
</records>

谢谢.

推荐答案

对于这种情况，我会使用 StAX 解析器.它将防止整个文档一次读入内存.

I would use a StAX parser for this situation. It will prevent the entire document from being read into memory at one time.

1. 将 XMLStreamReader 推进到子片段的本地根元素.
2. 然后，您可以使用 javax.xml.transform API 从此 XML 片段生成新文档.这会将 XMLStreamReader 推进到该片段的末尾.
3. 对下一个片段重复步骤 1.

代码示例

对于以下 XML，将每个语句"部分输出到以帐户属性值"命名的文件中:

For the following XML, output each "statement" section into a file named after the "account attributes value":

<statements>
   <statement account="123">
      ...stuff...
   </statement>
   <statement account="456">
      ...stuff...
   </statement>
</statements>

这可以通过以下代码完成:

This can be done with the following code:

import java.io.File;
import java.io.FileReader;
import javax.xml.stream.XMLInputFactory;
import javax.xml.stream.XMLStreamConstants;
import javax.xml.stream.XMLStreamReader;
import javax.xml.transform.Transformer;
import javax.xml.transform.TransformerFactory;
import javax.xml.transform.stax.StAXSource;
import javax.xml.transform.stream.StreamResult;

public class Demo {

    public static void main(String[] args) throws Exception  {
        XMLInputFactory xif = XMLInputFactory.newInstance();
        XMLStreamReader xsr = xif.createXMLStreamReader(new FileReader("input.xml"));
        xsr.nextTag(); // Advance to statements element

        TransformerFactory tf = TransformerFactory.newInstance();
        Transformer t = tf.newTransformer();
        while(xsr.nextTag() == XMLStreamConstants.START_ELEMENT) {
            File file = new File("out/" + xsr.getAttributeValue(null, "account") + ".xml");
            t.transform(new StAXSource(xsr), new StreamResult(file));
        }
    }

} 

这篇关于使用 Java 拆分 1GB Xml 文件的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！