高效率去重 真2024年3月7日23时12分34秒

要实现高效率的去重，尤其是针对时间戳这样的数据，可以使用Python中的集合（set）数据结构，因为集合会自动去除重复的元素。以下是一个示例代码，用于去重并保留唯一的日期时间戳：

```python

from datetime import datetime

假设有一个包含重复时间戳的列表

timestamps = [

"2024-03-07 23:12:34",

"2024-03-07 23:12:34",

"2024-03-07 23:12:35",

"2024-03-07 23:12:36"

]

将字符串转换为datetime对象

datetime_objects = [datetime.strptime(ts, "%Y-%m-%d %H:%M:%S") for ts in timestamps]

使用集合去除重复的datetime对象

unique_datetime_objects = set(datetime_objects)

将去重后的datetime对象转换回字符串

unique_timestamps = [dt.strftime("%Y-%m-%d %H:%M:%S") for dt in unique_datetime_objects]

输出去重后的时间戳列表

print(unique_timestamps)

```

这段代码首先将所有的时间戳字符串转换为`datetime`对象，然后使用集合去重，最后将去重后的`datetime`对象转换回字符串格式。这种方法非常高效，因为集合内部使用的是哈希表，其查找和插入操作的平均时间复杂度是O(1)。