S3 本身没有真正的文件夹结构，所谓“文件夹”只是对象键名中的前缀；本文详解如何精准删除指定路径（如 DailyLogs/2024-03-24/）下的全部对象，避免因前缀匹配过宽导致误删其他日期或层级的数据。
S3 本身没有真正的文件夹结构，所谓“文件夹”只是对象键名中的前缀；本文详解如何精准删除指定路径（如 DailyLogs/2024-03-24/）下的全部对象，避免因前缀匹配过宽导致误删其他日期或层级的数据。
在 AWS S3 中，“删除文件夹”是一个常见误解。S3 是扁平化的对象存储系统，不存在目录或文件夹实体——你看到的 DailyLogs/2024-03-24/file.csv 实际只是一个键（Key）为该完整字符串的对象。因此，delete_objects() 操作本身不会“删除文件夹”，但若 list_objects_v2() 的 Prefix 参数设置不当，就可能意外匹配并删除超出预期范围的对象。
? 根本原因分析
你的代码中调用：
daily_folder = f"DailyLogs/{current_date.strftime('%Y-%m-%d')}/"
delete_daily_files(daily_folder)看似合理，但问题往往出在 S3 列表结果未严格限定层级 或 前缀末尾斜杠缺失/冗余引发边界匹配偏差。例如：
- 若 daily_folder = "DailyLogs/2024-03-24"（无结尾 /），则可能匹配到 DailyLogs/2024-03-245/file.csv（因字符串前缀匹配）；
- 若 daily_folder = "DailyLogs/"（仅到一级），则会列出并删除整个 DailyLogs 下所有子路径对象；
- 更隐蔽的是：S3 控制台中显示的“空文件夹”其实是占位对象（如 DailyLogs/2024-03-24/ 键本身），若未显式包含该键，list_objects_v2 默认不会返回它——但这不影响内容删除逻辑。
✅ 正确做法是：确保 Prefix 精确匹配目标路径，并始终以 / 结尾，同时启用分页处理大量对象。
✅ 推荐修复方案（含健壮性增强）
以下是优化后的 delete_daily_files 和 delete_monthly_files 函数，已修复潜在风险：
def delete_daily_files(folder_prefix):
"""安全删除指定日期前缀下的所有 S3 对象（不含子目录）"""
# 强制确保 Prefix 以 '/' 结尾，避免跨日期匹配（如 '2024-03-2' 匹配 '2024-03-24'）
if not folder_prefix.endswith('/'):
folder_prefix += '/'
paginator = s3_client.get_paginator('list_objects_v2')
pages = paginator.paginate(Bucket=bucket_name, Prefix=folder_prefix, Delimiter='/')
deleted_count = 0
for page in pages:
if 'Contents' not in page:
continue
# 过滤：仅删除位于该前缀下的直接对象（排除子前缀，如防止 'DailyLogs/2024-03-24/sub/' 被误删）
keys_to_delete = [
{'Key': obj['Key']}
for obj in page['Contents']
if obj['Key'].startswith(folder_prefix) and
(len(obj['Key']) == len(folder_prefix) or
obj['Key'][len(folder_prefix)] != '/')
]
if keys_to_delete:
s3_client.delete_objects(
Bucket=bucket_name,
Delete={'Objects': keys_to_delete}
)
deleted_count += len(keys_to_delete)
print(f"Deleted {deleted_count} objects under prefix: {folder_prefix}")
# 同理更新 delete_monthly_files，复用相同逻辑
def delete_monthly_files(folder_prefix):
if not folder_prefix.endswith('/'):
folder_prefix += '/'
# ...（同上分页+过滤逻辑）⚠️ 关键注意事项
- 永远不要依赖 Delimiter='/' 来“获取文件夹列表”再递归删除：Delimiter 仅用于分组响应，不能替代精确前缀控制。
- 务必使用分页器（Paginator）：单次 list_objects_v2 最多返回 1000 个对象，超量时需分页遍历，否则部分对象将被遗漏。
- 生产环境建议添加 Dry Run 模式：先打印将要删除的 Key 列表，确认无误后再执行真实删除。
- 注意 IAM 权限最小化：Lambda 执行角色只需 s3:GetObject, s3:ListBucket, s3:DeleteObject，禁止 s3:DeleteBucket。
- Athena 输出路径需与清理路径严格一致：确保 ResultConfiguration['OutputLocation'] 的前缀（如 s3://BUCKET_NAME/DailyLogs/2024-03-24/）与 delete_daily_files() 中传入的 folder_prefix 完全匹配（包括末尾 /）。
✅ 总结
S3 的“文件夹”本质是前缀约定。精准清理的核心在于：使用带尾部 / 的精确 Prefix + 分页遍历 + 显式键名校验。按上述方式重构后，你的 Lambda 将只清除当日/当月生成的新 CSV 所在路径下的历史文件，而 DailyLogs 和 MonthlyLogs 两个逻辑目录本身（及其下其他日期子路径）将完全保留，彻底解决“整个文件夹被删”的问题。
