large-data-volumes - IT屋-程序员软件开发技术分享社区

如何为很多很多页面进行页面导航?对数页面导航

为许多页面显示页面导航的最佳方式是什么? (最初，这是作为操作提示发布的，我的答案包含在问题中.我现在将我的答案分成下面的“答案"部分). 更具体一点: 假设您要向用户显示一组记录，这些记录分为固定大小的页面(例如 Google 搜索的结果).如果只有几个页面，您可以在结果的末尾显示一个页面导航区域，如下所示: [4 5 6 7 8 9 10 11 12 13 [ > ..

发布时间：2022-01-10 17:24:33 user-interface navigation pagination paging large-data-volumes 其他开发

大主键:1+ 十亿行 MySQL + InnoDB?

我想知道 InnoDB 是否是格式化表格的最佳方式?该表包含一个字段，即主键，该表每天(估计)将获得 816k 行.这将很快变得非常大！我正在研究文件存储方式(这样会更快吗)?该表将存储已处理的 Twitter Id 的 ID 号? 此外，在 SELECT min('id') 语句中是否有任何估计的内存使用量?非常感谢任何其他想法！解决方案唯一确定的答案是同时尝试并测试，看看会发 ..

发布时间：2021-12-25 20:35:16 mysql indexing twitter large-data-volumes 数据库

设计一个网络爬虫

我遇到了一个面试问题“如果你正在设计一个网络爬虫，你将如何避免陷入无限循环?"我正在尝试回答. 这一切是如何从头开始的.假设谷歌从一些中心页面开始，比如数百个(如何首先找到这些中心页面是一个不同的子问题).当 Google 跟踪页面中的链接等时，它是否会不断制作哈希表以确保它不会跟踪之前访问过的页面. 如果现在我们有 URL 缩短器等，如果同一个页面有 2 个名称(URL)会怎样. ..

发布时间：2021-12-22 08:09:35 data-structures search-engine web-crawler google-search large-data-volumes 其他开发

我编写了一个方法 insert()，其中我尝试使用 JDBC Batch 将 50 万条记录插入 MySQL 数据库: public void insert(int nameListId, String[] names) {String sql = "INSERT INTO name_list_subscribers (name_list_id, name, date_ added)" +“值( ..

发布时间：2021-12-21 19:30:10 jdbc batch-file large-data-volumes out-of-memory 其他开发

如何为很多很多页面做页面导航?对数页面导航

为许多页面显示页面导航的最佳方式是什么? (最初，这是作为操作提示发布的，我的答案包含在问题中.我现在将我的答案拆分为下面的“答案"部分). 更具体地说: 假设您要向用户显示一组记录，分成固定大小的页面(例如 Google 搜索的结果).如果只有几个页面，您可以在结果的末尾显示一个页面导航区域，可能如下所示: [ ..

发布时间：2021-12-13 10:37:40 user-interface navigation pagination paging large-data-volumes 其他开发

使用 Hibernate 的 ScrollableResults 缓慢读取 9000 万条记录

我只需要使用 Hibernate 读取 MySQL 数据库中表中的每一行并基于它编写一个文件.但是有 9000 万行，而且它们非常大.所以看起来以下是合适的: ScrollableResults results = session.createQuery("SELECT person FROM Person person").setReadOnly(true).setCacheable(fals ..

发布时间：2021-11-20 21:44:18 java mysql hibernate large-data-volumes scrollableresults Java开发

如何有效搜索潜在的大型数据库?

这更多的是讨论. 我们有一个多租户的系统，它将具有可以包含数百万行的表.我们的用户界面允许用户使用许多不同的搜索条件对这些表执行搜索-因此他们可以将这些条件进行任意组合. 为数据库中的所有这些搜索列建立索引或将完整表加载到内存中然后进行过滤是不切实际的. 有人能为我指出解决该问题的模式/设计的正确方向吗? 解决方案我不知道有什么模式可以解决您所描述的情况.无限数量的行， ..

发布时间：2020-06-29 19:30:15 database performance large-data-volumes 其他开发

有没有一种方法可以在内存中维护200MB不变的数据结构并从脚本中访问它?

我有一个900万个IP的列表，并且通过一组哈希表，我可以创建一个恒定时间函数，如果该列表中有特定IP，则该函数将返回.我可以用PHP做到吗?如果可以，怎么办? 解决方案这个问题的有趣之处在于您可以前往的路线数量. 我不确定缓存是否是最好的选择，仅仅是因为数据量大且查询量相对较少.这里有一些想法. 1)构建ram磁盘.链接您的mysql数据库表以使用ramdisk分区.我从来没 ..

发布时间：2020-06-29 19:30:13 php data-structures large-data-volumes PHP

使用protobuf-net序列化大型合成图的列表，导致内存不足异常

我正在尝试使用Protobuf-net序列化一个包含非常大的复合对象图(约200000个节点或更多)的列表的对象.基本上，我要实现的是将完整的对象尽快并紧凑地保存到单个文件中. 我的问题是，在尝试序列化对象时出现内存不足异常.在我的机器上，文件大小约为1.5GB时会引发异常.我正在运行64位进程，并使用StreamWriter作为protobuf-net的输入.由于我直接写入文件，因此我怀疑 ..

发布时间：2020-06-29 19:30:10 c# serialization protobuf-net large-data-volumes C#/.NET

我们如何在Matlab中处理大型矩阵(大于10000x10000)

在我的程序中，我遇到了一些大于10000x10000的矩阵. 我无法对它们进行转置或反转，该如何解决? ??? Error using ==> ctranspose Out of memory. Type HELP MEMORY for your options. Error in ==> programname1 at 70 B = cell2mat(C(:,:,s))'; Ou ..

发布时间：2020-06-29 19:30:06 matlab large-data-volumes 其他开发

一次仅获取N行(MySQL)

我正在寻找一种从较小的表中以较小的块中获取所有数据的方法. 请告知. 解决方案要回答标题中的问题使用LIMIT运算符 SELECT * FROM table LIMIT 0,20 关于正文，这太广泛了，无法要求一个某些代码示例，不是吗? ..

发布时间：2020-06-29 19:30:03 sql mysql query-optimization large-data-volumes 数据库

在大量数据上选择Count(*)

我想为报表执行此操作，但是我的表中有20,000,000条记录，这导致我的应用程序超时. SELECT T.transactionStatusID, TS.shortName AS TransactionStatusDefShortName, count(*) AS qtyTransactions FROM Transa ..

发布时间：2020-06-29 19:30:00 sql-server-2005 select large-data-volumes 其他开发

我可以分解大规模的相关矩阵吗?

相关矩阵太大(50000by50000)，以至于在计算我想要的内容时效率不高.我要做的是将其分解为几组，并将每组视为独立的相关矩阵.但是，如何处理这些较小的相关矩阵之间的依赖关系?我整天都在研究在线，但没有任何反应.应该有一些与大型相关矩阵的近似有关的算法，对吧? 解决方案即使是4 x 4的相关矩阵也对错误敏感.无论如何，这里有一些链接可能会有所帮助: http://www.oxf ..

发布时间：2020-06-29 19:29:57 r large-data-volumes correlation approximation 其他开发

如何允许用户轻松选择Java Swing应用程序中要分配的内存量?

我们有一个Swing应用程序，可以处理相对大量的数据.例如，我们目前正在处理具有数百万行数据的CSV文件.出于性能和简便性的原因，我们只将所有数据保留在内存中.但是，不同的用户将需要处理的数据量也不同，RAM数也将不同.当然，在创建安装程序时，我们需要指定堆大小.有什么简单的方法可以允许用户指定堆，而无需他们手动编辑配置或.bat文件?我猜不是所有的用户都会对此感到满意. 我看过一个示例，其 ..

发布时间：2020-06-29 19:29:55 java size heap large-data-volumes Java开发

将mysql表转储为CSV(stdout)，然后将输出隧道传输到另一台服务器

我正在尝试将数据库表移动到另一台服务器；复杂之处在于当前正在运行该表的机器几乎没有空间了；所以我正在寻找一种可以在网络上工作的解决方案. 我已经尝试过mysql从src机器中转储数据库，并在目的地将其通过管道传输到mysql中；但我的数据库有4800万行，甚至在关闭auto_commit时也是如此； trx_commit cmd为2;我的狗比较慢. mysqldump -uuser - ..

发布时间：2020-06-29 19:29:51 mysql mysqldump large-data-volumes mysqlimport sshfs 数据库

在R中绘制非常大的数据集

如何在R中绘制非常大的数据集? 我想使用箱形图，小提琴图或类似图形.无法将所有数据放入内存中.我可以逐步阅读并计算绘制这些图所需的摘要吗?如果可以，怎么办? 解决方案在我对ffquantile=0)) ffsort(ffv,...)->ffvs ..

发布时间：2020-06-29 19:29:48 r plot large-data-volumes 其他开发

SQL Server表结构用于存储大量图像

在SQL Server 2008中存储大量图像数据的最佳实践是什么?我预计将使用约5个存储空间来存储大约50,000张图像.目前，我正在使用带有列的单个表进行此操作: ID: int/PK/identity Picture: Image Thumbnail: Image UploadDate: DateTime 我很担心，因为大约占我预期总容量的10％，似乎插入物会花费很长时间.典型的图 ..

发布时间：2020-06-29 19:29:41 sql-server large-data-volumes 数据库

使用Web服务传输大型有效负载的坏主意?

我收集基本上，可以存储的数据量没有限制在通过POST或GET使用REST时发送.虽然我没有使用过REST或Web服务，但似乎大多数服务都涉及传输有限数量的数据.如果要传输1-5MB的数据(双向)，Web服务是否被认为是一个坏主意? 更新:我们正在考虑通过REST服务连接的应用是内部应用.我们确实可以选择其他连接选项(例如:RMI) 解决方案 1-5mb，使用rest实际上并不是那么大 ..

发布时间：2020-06-29 19:29:39 web-services rest large-data-volumes 其他开发

使用cursor.copy_from（）的psycopg2 COPY将冻结大量输入

使用psycopg2 cursor 对象（以下内容为清楚起见已更改或省略了一些列）在Python中考虑以下代码： filename ='data.csv' file_columns =（'id'，'node_id'，'segment_id'，'elevated'， 'approximation' ，'the_geom'，'azimuth'） self._cur.copy_from（fi ..

发布时间：2020-05-29 22:29:43 python postgresql large-data-volumes psycopg2 Python

如何对很多页面进行页面导航?对数页面导航

显示很多页面的页面导航的最佳方法是什么? (最初，该提示是作为一个技巧提示，其中包含我的答案.我现在将我的答案分为以下“答案"部分). 更具体地说: 假设您要向用户显示一组记录，并分成固定大小的页面(例如Google搜索的结果).如果只有几个页面，则可以在结果的末尾显示一个页面导航区域，如下所示: [ ..

发布时间：2020-05-16 21:52:27 user-interface navigation pagination paging large-data-volumes 其他开发

large-data-volumes相关内容