bzip2相关内容

Hadoop 输入的最佳可拆分压缩 = bz2?

我们意识到为 Hadoop 处理以 GZip 格式存档我们的文件并不是一个好主意,这一点为时已晚.GZip 不可拆分,这里有问题我不再赘述,仅供参考: 关于 Hadoop 和压缩输入文件的非常基本的问题 Hadoop gzip 压缩文件 仅使用一个映射器的 Hadoop gzip 输入文件 为什么hadoop不能拆分一个大的文本文件,然后用gzip压缩? 我的问题是:BZip2 ..
发布时间:2021-12-15 18:40:14 其他开发

Bzip2 区块头:1AY&SY

这是关于 bzip2 归档格式的问题.任何 Bzip2 存档都由文件头、一个或多个块和尾结构组成.所有块都应以“1AY&SY"开头,Pi 编号的 6 字节 BCD 编码数字,0x314159265359.根据 bzip2的来源: /*--一个6字节的块头,任意选择的值如 0x314159265359 :-).一个 32 位的值并不是真的提供足够强大的保证,该值不会偶然出现在压缩数据流中.最差的情 ..
发布时间:2021-11-17 03:13:49 其他开发

只解压特定的 bzip2 块

假设我有一个 bzip2 文件(超过 5GB),我只想解压块 #x,因为我的数据在那里(块每次都不同).我该怎么做? 我考虑过创建所有块所在位置的索引,然后从文件中剪切我需要的块并将 bzip2recover 应用到它. 我还考虑过一次压缩 1MB,然后将其附加到一个文件中(并记录位置),并在需要时简单地抓取该文件,但我宁愿保持原始 bzip2 文件完整无缺. 我的首选语言是 R ..
发布时间:2021-11-17 03:13:04 其他开发

如何在 iOS 中使用 bzip2 格式?Apple 告诉我 bzBuffToBuffDecompress 是私有 API

今天我将我的 iOS 应用提交到了应用商店,但很快我收到了一封来自苹果的邮件,它说, 无法发布到 App Store因为它正在使用私有或未记录的 API: 私有符号引用BZ2_bzBuffToBuffDecompress 如您所知,如 iPhone 中所述开发者计划许可协议第 3.3.1 节,非公开的使用不允许使用 API.在你之前应用程序可以审查申请审核小组,请解决此问题并将新的二进制 ..
发布时间:2021-11-16 23:44:45 移动开发

解压缩 BZIP2 档案

我可以解压缩 zip、gzip 和 rar 文件,但我还需要解压缩 bzip2 文件以及解压缩它们 (.tar).我还没有找到一个好的库来使用. 我使用 Java 和 Maven 非常理想,我想将它作为依赖项包含在 POM 中. 您推荐哪些图书馆? 解决方案 我能看到的最佳选择是 Apache Commons使用此 Maven 依赖项压缩. org.apac ..
发布时间:2021-11-15 00:30:36 Java开发

如何在Python中使用bzip2压缩文件?

这就是我所拥有的: import bz2compressionLevel = 9source_file ='/foo/bar.txt'#此文件可以采用其他格式,例如.csv或其他格式...destination_file ='/foo/bar.bz2'tarbz2contents = bz2.compress(source_file,compressionLevel)fh =打开(目标文件," ..
发布时间:2021-04-23 20:19:29 Python

Python BZ2 IOError:无效的数据流

跟踪(最近一次通话最近): 文件“ TTRC_main.py”,第309行,在中。 updater.start() 文件“ TTRC_main.py”,第36行,开始 newFileData = bz2.BZ2File(“ C:/ Program Files(x86)/ Toontown Rewrite / temp / phase_7.mf.bz2“,” rb“)。rea ..
发布时间:2020-06-07 18:58:20 Python

是否有任何主流压缩算法本身支持流数据

执行任何主流压缩算法,例如 snappy , zlib 或 bzip 本机支持通过网络流传输数据?例如,如果我必须发送压缩的有效负载,那么在发送消息之前,是否需要手动添加有效负载的大小?还是有任何库提供API来告知给定 x 个字节是否消息完整? 解决方案 zlib,bzip2,lz4,zstd,brotli,lzma2和其他许多文件都通过在压缩数据中使用数据结尾标记来支持流传输。 碰 ..
发布时间:2020-06-07 18:58:09 其他开发

使用python组织tar bz2文件中的文件

我在bz2文件中放置了大约200,000个文本文件。我的问题是,当我扫描bz2文件以提取所需的数据时,它的运行速度非常慢。它必须浏览整个bz2文件以完善我要查找的单个文件。 此外,我考虑过可能要组织tar.bz2中的文件,以便让我知道在哪里查看。反正有组织到bz2中的文件吗? 更多信息/编辑: 我需要查询每个文本文件的压缩文件。是否有更好的压缩方法支持如此大量的文件并进行了彻底压缩? ..
发布时间:2020-06-07 18:58:05 Python

使用bzlib.h在C ++中进行BZ2压缩

我目前需要一些帮助,以学习如何使用bzlib.h标头。我想知道是否有人会帮助我使用任何Boost库在C ++ 中找到compressToBZ2()函数? void compressBZ2(std :: string file) { std :: ifstream infile; int fileDestination = infile.open(file.c_str()); ..
发布时间:2020-06-07 18:58:02 C/C++开发

为什么从文件末尾查找BZip2文件而不是Gzip文件?

问题 我正在使用Python 2.7.6解析大型压缩文件,并且想在开始之前了解未压缩文件的大小。我正在尝试使用此SO答案中介绍的第二种技术。它适用于bzip2格式的文件,但不适用于gzip格式的文件。导致这种情况的两种压缩算法有何不同? 示例代码 该代码片段演示了行为,假设您当前的工作目录中包含“ test.bz2”和“ test.gz”: import os imp ..
发布时间:2020-06-07 18:57:58 Python

JavaScript中的bz2

有没有可以带字节数组并将bz2解压缩为另一个字节数组的javascript库?我知道许多浏览器都对整个流都具有此功能,但是此数组与流的开头有一定偏移。 解决方案 https://github.com/antimatter15/bzip2.js 对于二进制字符串: https://github.com/kirilloid/bzip2-js ..
发布时间:2020-06-07 18:57:56 前端开发

ssh多个命令在文件名后附加问号

我有一个数据库传输脚本,该脚本使用bzip2来最大程度地减少服务器上大型数据库的锁定。 第一行是 ssh root @ server“ mysqldump db | bzip2> /root/db.sql.bz2” 此功能可在许多服务器上使用,但在新的Ubuntu 14.04服务器上,在服务器上创建的文件后面带有问号: ls -la gt * -rw- ..
发布时间:2020-06-07 18:57:52 其他开发

增量压缩和单次压缩之间有什么区别?

我正在尝试在python中使用 bz2 和/或 lzma 软件包。我正在尝试以csv格式压缩数据库转储,然后将其放入 zip 文件。我将其与两个软件包一起进行一次压缩。 代码如下: with ZipFile(' something.zip'','w')as zf: content = bz2.compress(bytes(csv_string,'UTF-8'))#也带有lzma ..
发布时间:2020-06-07 18:57:51 Python

Bzip2区块标头:1AY& SY

这是有关bzip2 存档格式的问题。任何Bzip2归档文件都由文件头,一个或多个块和尾部结构组成。所有块均应以Pi编号为0x314159265359的6个字节的BCD编码数字“ 1AY& SY”开头。根据 bzip2的来源: / *- 6字节的块头,选择值任意 为0x314159265359 :-)。一个32位的值实际上并不能完全保证 足以确保该值不会 偶然出现在压缩数据流中。对于900 ..
发布时间:2020-06-07 18:57:46 其他开发

仅解压缩特定的bzip2块

说我有一个bzip2文件(超过5GB),并且我只想解压缩#x块,因为这里有我的数据(块每次都不同)。我该怎么做? 我考虑过要对所有块的位置进行索引,然后从文件中剪切所需的块,并对其应用bzip2recover。 / p> 我还考虑一次压缩1MB,然后将其附加到文件中(并记录位置),并在需要时简单地抓取文件,但是宁愿保持原始的bzip2文件完整。 我首选的语言是Ruby,但是任何语 ..
发布时间:2020-06-07 18:57:43 其他开发

利用多核进行tar + gzip / bzip压缩/解压缩

我通常使用 tar zcvf 进行压缩,并使用 tar zxvf 进行解压缩(由于习惯而使用gzip)。 我最近获得了具有超线程功能的四核CPU,所以我有8个逻辑核,而且我注意到在压缩/解压缩过程中许多核没有使用。 有什么办法可以利用未使用的内核来使其更快? 解决方案 您可以使用 pigz 代替gzip,后者会在多个内核上进行gzip压缩。代替使用-z选项,可以通过Pigz传递 ..
发布时间:2020-06-07 18:57:38 其他开发