duplicate-removal相关内容

从java中的字符串中删除重复值

谁能告诉我如何从 中删除重复值 String s="班加罗尔-钦奈-纽约-班加罗尔-钦奈"; 输出应该是这样的 String s="Bangalore-Chennai-NewYork-"; 使用 Java.. 任何帮助将不胜感激. 解决方案 这一行就搞定了: public String deDup(String s) {return new LinkedHashSet(A ..
发布时间:2022-01-10 13:26:30 Java开发

删除列表中的重复对象 (C#)

所以我了解如何使用 Linq 中的 Distinct() 删除列表中的字符串和 int 等重复项.但是如何根据对象的特定属性删除重复项呢? 例如,我有一个 TimeMetric 类.这个TimeMetric 类有两个属性:MetricText 和MetricTime.我有一个名为 MetricList 的 TimeMetrics 列表.我想删除具有相同 MetricText 属性的所有重复项 ..
发布时间:2022-01-10 13:25:54 C#/.NET

如何从 mysql 数据库中删除重复的条目?

我有一张带有一些 ids + 标题的表格.我想让标题列独一无二,但它已经有超过 60 万条记录,其中一些是重复的(有时是几十倍). 如何删除除一个之外的所有重复项,以便在之后向标题列添加唯一键? 解决方案 此命令添加一个唯一键,并删除所有生成错误的行(由于唯一键).这会删除重复项. ALTER IGNORE TABLE table ADD UNIQUE KEY idx1(title ..
发布时间:2022-01-10 13:17:27 数据库

删除所有重复的行,包括“引用";排

我正在寻找一种从向量中删除所有重复元素的方法,包括 reference 元素.reference 元素是指当前用于比较的元素,以搜索其重复项.例如,如果我们考虑这个向量: a = c(1,2,3,3,4,5,6,7,7,8) 我想获得: b = c(1,2,4,5,6,8) 我知道 duplicated() 和 unique() 但它们没有提供我正在寻找的结果. 解决方案 这是一种 ..
发布时间:2022-01-10 13:17:01 其他开发

删除重复的行,只留下最旧的行?

我有一张数据表,其中有很多来自用户提交的重复条目. 我想根据字段 subscriberEmail 删除所有重复的行,只留下原始提交. 换句话说,我想搜索所有重复的电子邮件,并删除那些行,只留下原来的. 如何在不交换表的情况下做到这一点? 我的表包含每一行的唯一 ID. 解决方案 由于您使用 id 列作为记录是“原始"的指示符: 删除 x从我的表 x在 x.subscr ..
发布时间:2022-01-10 13:14:47 数据库

删除重复项,保留具有最大绝对值的条目

假设我有四个样本:id=1、2、3 和 4,每个样本都有一个或多个测量值: >a 我想删除重复项,每个 ID 只保留一个条目 - “值"列的绝对值最大的条目.也就是说,这就是我想要的: >a[c(2,4,5,6), ]标识值2 1 24 2 -45 3 -56 4 6 我如何在 R 中做到这一点? 解决方案 首先.按顺序排序,将不太需要的项目放在我要的组中 aa ..
发布时间:2022-01-10 13:13:06 其他开发

在多列中重复

我有一个这样的数据框 >dfA B C D1 1 2 10012 2 4 乙 10023 3 6 乙 10024 4 8 C 10035 5 10 D 10046 6 12 D 10047 7 13 E 10058 8 14 东 1006 我想删除 c 列和 d 列中有重复值的行.所以在本例中,第 2、3、5 和 6 行将被删除. 我用过这个,效果很好: df[!(df$c %in% ..
发布时间:2022-01-10 13:11:39 其他开发

查找接近重复记录的技术

我正在尝试清理一个数据库,该数据库多年来获得了许多重复记录,名称略有不同.例如,在公司表中,有“Some Company Limited"和“SOME COMPANY LTD!"之类的名称. 我的计划是将有问题的表导出到 R 中,将名称转换为小写,替换常见的同义词(如“limited"->“ltd"),去掉非字母字符,然后使用 agrep 看看有什么相似之处. 我的第一个问题是 agr ..
发布时间:2022-01-10 13:10:25 其他开发

如何删除重复条目?

我必须向现有表添加唯一约束.这很好,只是表已经有数百万行,并且许多行违反了我需要添加的唯一约束. 删除违规行的最快方法是什么?我有一个 SQL 语句,它可以找到重复项并删除它们,但它需要永远运行.有没有其他方法可以解决这个问题?也许备份表,然后在添加约束后恢复? 解决方案 例如你可以: 创建表 tmp ...INSERT INTO tmp SELECT DISTINCT * FRO ..

如何在 PostreSQL 中仅批量插入新行

我有没有 ID 的产品列表(300 万件) - 只有标题.但我不知道数据库中已经存在哪些标题.必须将新产品(约 290 万个项目)添加到数据库中.之后,我必须知道每种产品(新的和现有的)的 ID. 在 PostgreSQL 中有最快的方法吗?我可以根据需要更改数据库(添加默认值、添加列等). 解决方案 导入数据 COPY 将所有内容添加到临时临时表,并仅将新标题插入到目标表中. ..
发布时间:2022-01-09 12:20:23 其他开发

删除指针时出现分段错误(核心转储)

我正在尝试从链表中删除重复项,遇到了一个问题,这个问题可能很明显也很简单,但我已经很多年没有使用 C++ 了,我无法找出是什么通过阅读有关 SO 的类似问题,我做错了. 以下是我的部分代码.我删除了不相关的部分(例如构造函数、其他方法等). template类节点{节点():数据(NULL),下一个(NULL),上一个(NULL){}显式节点(T d) : 数据(d), next(NULL ..

从 NumPy 二维数组中删除重复的列和行

我使用二维形状数组来存储经度+纬度对.有一次,我必须合并这些二维数组中的两个,然后删除任何重复的条目.我一直在寻找类似于 numpy.unique 的函数,但我没有运气.我做过的任何实现思考看起来很“未优化".例如,我正在尝试将数组转换为元组列表,使用 set 删除重复项,然后再次转换为数组: coordskeys = np.array(list(set([tuple(x) for x in c ..
发布时间:2021-12-31 11:50:01 Python

如何使用 SSIS 从平面文件中删除重复的行?

首先让我说,能够从一个平面文件中获取 1700 万条记录,推送到远程机器上的数据库并且需要 7 分钟,这真是太棒了.SSIS 真的很棒.但是现在我已经有了这些数据,我该如何删除重复项? 更好的是,我想获取平面文件,从平面文件中删除重复项并将它们放回另一个平面文件中. 我在考虑: 数据流任务 文件源(带有关联的文件连接) for 循环容器 一个脚本容器,包含一些判断另一行 ..

删除 Excel 单元格中的重复项

假设我在一个 Excel 单元格中有以下文本字符串: 约翰·约翰·约翰·玛丽·玛丽 我想在另一个单元格上创建一个公式(所以请不要使用菜单功能或 VBA) 约翰·玛丽 我该怎么做? 到目前为止我已经尝试在互联网上搜索有关该问题的内容,我所能找到的只是涉及 Excel 的内置重复删除或涉及 countif 和替换重复项的解决方案"".我还查看了 Excel 函数列表,尤其是“文本"类别中 ..
发布时间:2021-12-25 12:28:20 其他开发

mongo 3 在唯一索引上重复 - dropDups

在 mongoDB 的文档中它说:“在 3.0 版中更改:dropDups 选项不再可用." 如果我真的想创建唯一索引并销毁重复条目,我可以做些什么(除了降级)? 请记住,我每秒收到大约 300 个插入,所以我不能只删除所有重复项,并希望在我完成索引时不会有任何重复. 解决方案 是 dropDupes 现在是 自 2.7.5 版起已弃用,因为无法正确预测在此过程中将删除哪个文档 ..
发布时间:2021-12-21 23:53:40 其他开发

多列重复

我有一个像这样的数据框 >dfA B C D1 1 2 A 10012 2 4 乙 10023 3 6 乙 10024 4 8 C 10035 5 10 D 10046 6 12 D 10047 7 13 东 10058 8 14 东 1006 我想删除 c 列和 d 列中有重复值的行.因此,在此示例中,第 2、3、5 和 6 行将被删除. 我用过这个,效果很好: df[!(df$c ..
发布时间:2021-12-07 09:59:54 其他开发

C# LINQ 在列表中查找重复项

使用 LINQ,如何从 List 中检索包含重复多次的条目及其值的列表? 解决方案 解决问题最简单的方法是根据元素的值对元素进行分组,如果元素多于一个,则选择一个代表该组的群组.在 LINQ 中,这转化为: var query = lst.GroupBy(x => x).Where(g => g.Count() > 1).Select(y => y.Key).ToList(); 如果想 ..
发布时间:2021-12-06 13:23:13 其他开发