large-files相关内容

ArtiFactory大型下载失败

我的续篇： 我让ArtiFactory Pro 5.8.4运行在CentOS 7.4系统上，该系统使用ArtiFactory的内置Nginx服务作为反向代理。大多数情况下，在下载大型对象期间，连接失败。此外，在失败的连接中传输的最后几千字节的数据看起来像是垃圾；因此，当恢复时，文件在中间的某个位置有一个无效的部分。 故障时间附近的Nginx日志提供以下错误消息： 2018/01/22 ..
发布时间：2022-08-13 18:21:11 其他开发

如何加载一个20 GB的json文件来读入 pandas ？

我有一个19.4 GB的JSON文件。我试了很多方法来读取这个文件。例如：pandas.read_json(filename)只是使笔记本崩溃。我正在寻找以一种懒惰的方式加载文件的方法。例如，一次1 GB，然后将其转储到SQLite或new 4j数据库中以分析数据。我们将非常感谢您在这方面的任何想法。 推荐答案 如果JSON文件的数据是逐行分隔的，则按行拆分。 # In bash ..
发布时间：2022-03-26 18:19:24 Python

Android捏缩放大图，内存高效不丢失细节

我的应用要显示多张高分辨率图片(约 1900*2200 像素)，支持捏合缩放.为了避免内存不足错误，我计划使用解码图像以显示全屏 options.inSampleSize = scale(比例计算为 2 作为文档的幂) (我使用的视图是 TouchImageView 扩展了 ImageView) 所以我可以快速加载图像并在屏幕(图像)之间平滑滑动.但是，当我捏​​缩放时，我的应用会因为缩 ..
发布时间：2022-01-24 10:06:04 移动开发

在 python 中解析一个大的(~40GB)XML 文本文件

我有一个想要用 python 解析的 XML 文件.最好的方法是什么?将整个文档记入内存将是灾难性的，我需要以某种方式一次读取一个节点. 我知道的现有 XML 解决方案: 元素树 minixml 但由于我提到的问题，我担心它们无法正常工作.我也无法在文本编辑器中打开它——generao 中有什么好的技巧来处理巨大的文本文件吗? 解决方案 首先，您是否尝试过 Elemen ..
发布时间：2022-01-10 20:37:18 Python

在 PHP 中流解析 4 GB XML 文件

我正在尝试并需要一些帮助来执行以下操作: 我想用 PHP 流式解析一个大的 XML 文件(4 GB).我不能使用简单的 XML 或 DOM，因为它们会将整个文件加载到内存中，所以我需要可以流式传输文件的东西. 我如何在 PHP 中做到这一点? 我要做的是浏览一系列 元素.并将他们的一些孩子写入一个新的 xml 文件. 我尝试解析的 XML 文件如下所示: ..
发布时间：2022-01-10 19:53:30 PHP

在 php 中解析非常大的 XML 文件

我需要解析 40GB 大小的 XML 文件，然后进行规范化，然后插入到 MySQL 数据库中.我不清楚需要在数据库中存储多少文件，也不知道 XML 结构. 我应该使用哪个解析器，你会怎么做? 解决方案 在 PHP 中，您可以使用 XMLReader文档: $reader = new XMLReader();$reader->open($xmlfile); 超大型 XML 文件应以 ..
发布时间：2022-01-10 19:44:34 PHP

GitLab 是否通过 git-annex 或其他方式支持大文件?

我运行一个 GitLab 实例，并希望允许我的用户上传几乎任何大小的文件. 众所周知，git 在处理大文件时仍然存在问题.我知道通过将文件存储在其他地方并仅对元数据进行版本控制来规避此问题的方法，例如git-annex、git-media 和 git-fat.这些中的任何一个是否已集成到 GitLab 中，或者这样做是否容易? 解决方案 截至 2015 年 2 月 18 日，GitL ..
发布时间：2022-01-10 11:37:36 其他开发

使用“灾难恢复"在内存和存储受限的系统上加密和/或解密大文件(AES)

我有一个相当笼统的问题，如果有点含糊，请见谅. 所以，让我们假设一个 1GB 的文件，需要在给定的系统上加密然后解密. 问题是系统只有不到 512 MB 的可用内存和大约 1.5 GB 的存储空间(给予或接受)，因此，对于“板载"文件，我们有大约 500 MB 的“硬盘暂存空间"和小于 512 mb RAM 可以“玩". 系统在加密或解密过程中的任何时候都不太可能遇到“计划外掉电 ..
发布时间：2022-01-10 10:37:00 其他开发

使用 PHP 进行非常大的上传

我想允许将非常大的文件上传到我们的 PHP 应用程序中(数百兆 - 8 演出).然而，这有几个问题. 浏览器: HTML 上传的反馈很糟糕，我们需要轮询进度(这有点傻)，或者根本不显示任何反馈 Flash 上传器在开始上传之前将整个文件放入内存 服务器: PHP 强制我们设置 post_max_size，这可能导致容易被利用的 DOS 攻击.我不想全局设置此设置. 服务 ..
发布时间：2022-01-09 22:35:54 PHP

gitignore 按文件大小?

我正在尝试实施 Git 来管理创意资产(Photoshop、Illustrator、Maya 等)，我想根据文件大小而不是扩展名、位置等从 Git 中排除文件. 例如，我不想排除所有 .avi 文件，但是在我不想提交的随机目录中存在少量大量 +1GB avi 文件. 有什么建议吗? 解决方案 我是 .gitignore 的新手，所以可能有更好的方法来做到这一点，但我一直使用以下 ..
发布时间：2022-01-03 09:08:28 其他开发

如何在C#中以编程方式下载大文件

在处理一个大文件之前，我需要以编程方式下载它.最好的方法是什么?由于文件很大，我想在特定的时间等待，以便我可以强制退出. 我知道 WebClient.DownloadFile().但是似乎没有办法指定等待的时间以强制退出. 试试{WebClient 客户端 = new WebClient();Uri uri = new Uri(inputFileUrl);client.DownloadFi ..
发布时间：2022-01-02 16:43:36 C#/.NET

使用 php 下载文件，而不是处理大文件?

我使用 php 下载文件，而不是文件本身在新窗口中打开.它似乎适用于较小的文件，但不适用于大文件(我需要它来处理非常大的文件).这是我必须下载文件的代码: function downloadFile($file) {如果(文件存在($文件)){//下载文件header('内容描述:文件传输');header('Content-Type: application/octet-stream');he ..
发布时间：2022-01-02 16:38:44 PHP

下载大文件 - iPhone SDK

我正在使用 Erica Sadun 的异步下载方法(项目文件的链接在此:download)，然而，她的方法不适用于大尺寸(50 mb 或以上)的文件.如果我尝试下载 50 mb 以上的文件，它通常会由于内存崩溃而崩溃.无论如何，我可以调整此代码以使其也适用于大文件吗?这是我在 DownloadHelper 类中的代码(已在下载链接中): .h @protocol DownloadHelpe ..
发布时间：2022-01-02 16:31:57 移动开发

Python 随机访问文件

是否有一种 Python 文件类型可以在不遍历整个文件的情况下访问随机行?我需要在一个大文件中进行搜索，不可能将整个文件读入内存. 任何类型或方法将不胜感激. 解决方案 这似乎就是这样的事情 mmap 是为.mmap 对象创建一个类似字符串的文件接口: >>>f = open("bonnie.txt", "wb")>>>f.write("我的邦妮躺在海上.")>>>f.close( ..
发布时间：2021-12-29 12:32:23 Python

Java:读取一个巨大文件的最后 n 行

我想读取一个非常大文件的最后 n 行，而不是使用 Java 将整个文件读入任何缓冲区/内存区域. 我环顾了 JDK API 和 Apache Commons I/O，但找不到适合此目的的一个. 我在想在 UNIX 中使用 tail 或 less 的方式.我认为他们不会加载整个文件然后显示文件的最后几行.在 Java 中也应该有类似的方法来做同样的事情. 解决方案 如果您使用 R ..
发布时间：2021-12-29 12:14:31 Java开发

用C#计算大文件的MD5SUM

我正在使用以下代码来计算文件的 MD5SUM - byte[] b = System.IO.File.ReadAllBytes(file);字符串总和 = BitConverter.ToString(new MD5CryptoServiceProvider().ComputeHash(b)); 这正常工作正常，但如果我遇到大文件(~1GB) - 例如iso 映像或 DVD VOB 文件 - 我 ..
发布时间：2021-12-27 16:37:53 C#/.NET