python 字典列表/列表套字典 去重重复的字典数据

 Pala   2017-12-20 14:29   243 人阅读  0 条评论

python 字典列表/列表套字典 数据去重

第一种:

def deleteDuplicate(li):
    func = lambda x, y: x if y in x else x + [y]
    li = reduce(func, [[], ] + li)
    return li

关于reduce(),请看http://docs.python.org/2/library/functions.html#reduce

第二种:

def deleteDuplicate(li):
    temp_list = list(set([str(i) for i in li]))
    li=[eval(i) for i in temp_list]
    return li

第三种方法:

[dict(t) for t in set([tuple(d.items()) for d in li])]


# 解释
li 是原始列表
d  是列表中的一个字典
t  是从字典中创建的元组之一


l = [{'a': 123, 'b': 1234},
        {'a': 3222, 'b': 1234},
        {'a': 123, 'b': 1234}]

seen = set()
new_l = []
for d in l:
    t = tuple(d.items())
    if t not in seen:
        seen.add(t)
        new_l.append(d)

print new_l

建议使用第三种,因为速度更加快,经过测试相同的数据,第三种方法速度比第一种的10倍

样例演示:

li = [
        {'a': 'b', 'c': 'c'},
        {'a': 'b', 'b': 'b'},
        {'a': 'b', 'd': 'd'},
        {'a': 'b', 'e': 'e'},
        {'a': 'b', 'f': 'f'},
        {'a': 'b', 'b': 'b'},
        {'a': 'b', 'c': 'c'},
    ]
    
li = deleteDuplicate(li)
print (li)

[{'a': 'b', 'c': 'c'}, {'a': 'b', 'b': 'b'}, {'a': 'b', 'd': 'd'}, {'a': 'b', 'e': 'e'}, {'a': 'b', 'f': 'f'}]

测试性能相关代码:


本文地址:http://chenxm.cc/post/508.html
版权声明:本文为原创文章,版权归 Pala 所有,欢迎分享本文,转载请保留出处!

发表评论


表情

还没有留言,还不快点抢沙发?