php - 找数据重复部分
本文介绍了php - 找数据重复部分的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
问 题
现在有一批通讯录数据(10000多个人的通讯录)需要找出每两个人的通讯录的重复部分(就是谁和谁的通讯录重复了多少条)要所有人的通讯录都两两比对一遍
例如 有 ABCDE四个人的通讯录 找出 AB AC AD AE BC BD BE CD CE DE 之间的通讯录重复条数
手机号重复 就认为这两条通讯录重复
这个是数据表,有10000多个人通讯录
list字段存的json就是通讯录的内容
一个人通讯录 100条到1000条不等
我目前尝试的做法是,一下取出所有人的通讯录,然后拿第一个人跟剩下所有人的进行比对(foreach这个数组,里面嵌套foreach) 然后拿第二个人的跟剩下所有人的比对,以此类推.
脚本部分代码
然后运行脚本 脚本跑了20多个小时 才跑了一半左右 内存,CPU占用也比较高 脚本效率太低了
请教一下,有没有更好方法来找出这批数据的重复部分,或者脚本怎么优化优化
谢谢大家
解决方案
$data = [
'张三' => [
['id'=>1,'name'=>1],
['id'=>2,'name'=>2],
['id'=>3,'name'=>3],
['id'=>1,'name'=>2]
],
'李四' => [
['id'=>1,'name'=>1],
['id'=>2,'name'=>2],
['id'=>3,'name'=>3],
['id'=>4,'name'=>4]
],
'王五' => [
['id'=>4,'name'=>4],
['id'=>5,'name'=>5],
['id'=>6,'name'=>6],
['id'=>7,'name'=>7]
]
];
function arr2Dict($arr) {
$ret = array();
foreach($arr as $k=>$v){
$_id = $v['id'];
if (array_key_exists($_id, $ret)) {
$ret[$_id]++;
}else{
$ret[$_id] = 1;
}
}
return $ret;
};
function compare($data, $a, $b) {
$_a = arr2Dict($data[$a]);
$_b = arr2Dict($data[$b]);
foreach($_a as $k=>$v){
if(array_key_exists($k, $_b)) {
echo "{$k} 在 {$a} 和 {$b} 重复\n";
}
}
};
compare($data, '张三', '李四');
compare($data, '张三', '王五');
compare($data, '李四', '王五');
====以下为老答案====
$data = array(
array('id'=>1,'name'=>1),
array('id'=>2,'name'=>2),
array('id'=>3,'name'=>3),
array('id'=>1,'name'=>2)
);
$ret = array();
# 数据遍历一次,以计算重复key作为key新建数据,如果存在value +1,如果不存在设置为1
foreach($data as $k=>$v){
$_id = $v['id'];
$_name = $v['name'];
if (array_key_exists($_id, $ret)) {
$ret[$_id]++;
}else{
$ret[$_id] = 1;
}
}
# 遍历结果
foreach($ret as $k=>$v){
echo "{$k}出现{$v}次\n";
}
#print_r($id)
这篇关于php - 找数据重复部分的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文