讲师中心 微信公众号
AI工具推荐 视频效率加速

Python如何将本地文件同步到阿里云OSS对象存储_调用aliyun-python-sdk

秋瑶大大_9543

秋瑶大大_9543

发布时间:2026-04-20 20:15:25

|

823人浏览过

|

来源于php中文网

原创

应使用 oss2 库而非 aliyun-python-sdk-oss,后者仅为底层 RPC 封装,oss2 支持断点续传、分片上传、进度回调等,安装需执行 pip install oss2,Endpoint 必须带 https 协议且与 bucket 地域严格匹配。

python如何将本地文件同步到阿里云oss对象存储_调用aliyun-python-sdk

直接用 oss2 库,别碰 aliyun-python-sdk

aliyun-python-sdk-oss 是旧版 SDK,只提供底层 RPC 接口封装,不带文件上传/下载逻辑,连 put_object 都要手动拼 HTTP body 和签名。现在官方主推的是 oss2 —— 它是专为 OSS 设计的 Python SDK,内置断点续传、分片上传、进度回调、自动重试,开箱即用。

常见错误现象:aliyun-python-sdk-oss 装完后调用 OssClient.put_object 报 SignatureDoesNotMatch 或 InvalidArgument,本质是没处理 Content-MD5、Date header、CanonicalizedOSSHeaders 等签名要素。

  • 安装正确依赖:pip install oss2(不是 aliyun-python-sdk-oss)
  • AccessKey 必须有 AliyunOSSFullAccess 或最小权限策略(oss:PutObject + oss:GetObject)
  • Endpoint 不能写错:华东1(杭州)是 https://www.php.cn/link/116c87e094144d0002cff857e56a322f,不是 http,也不是 oss-cn-hangzhou.aliyuncs.com(缺协议头会静默失败)

上传单个本地文件到指定 bucket 和 path

核心就是初始化 oss2.Bucket,然后调用 put_object_from_file —— 它自动处理小文件直传、大文件分片、重试和异常。

import oss2
<p>auth = oss2.Auth('your-access-key-id', 'your-access-key-secret')
bucket = oss2.Bucket(auth, '<a href="https://www.php.cn/link/116c87e094144d0002cff857e56a322f">https://www.php.cn/link/116c87e094144d0002cff857e56a322f</a>', 'your-bucket-name')</p><h1>本地路径 → OSS 的 object key(注意:不带前导 /)</h1><p>result = bucket.put_object_from_file('remote/path/file.txt', '/local/path/file.txt')</p><p><span>立即学习</span>“<a href="https://pan.quark.cn/s/00968c3c2c15" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">Python免费学习笔记(深入)</a>”;</p><div class="aritcle_card flexRow">
                                                        <div class="artcardd flexRow">
                                                                <a class="aritcle_card_img" href="/xiazai/skill8054" title="python-parallelization"><img
                                                                                src="https://img.php.cn/upload/skill/000/000/081/179181013081932.jpg" alt="python-parallelization" ></a>
                                                                <div class="aritcle_card_info flexColumn">
                                                                        <a href="/xiazai/skill8054" title="python-parallelization">python-parallelization</a>
                                                                        <p>将顺序 Python 代码转换为并行/并发实现,用于在需要并行化 Python 代码、提升性能时使用。</p>
                                                                </div>
                                                                <a href="/xiazai/skill8054" title="python-parallelization" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a>
                                                        </div>
                                                </div><p>print(f'ETag: {result.etag}, HTTP status: {result.status}')
  • put_object_from_file 第一个参数是 OSS 内部路径(object key),第二个是本地绝对或相对路径
  • 如果本地路径含中文,确保 Python 文件本身用 UTF-8 编码,且系统 locale 支持(Linux/macOS 一般没问题,Windows 命令行需 chcp 65001)
  • 默认超时 60 秒,大文件可加参数:put_object_from_file(..., progress_callback=callback) + 自定义函数

同步整个本地目录(非增量,慎用)

oss2 不提供 rsync 式增量同步命令,但可用 os.walk + put_object_from_file 手动遍历实现“覆盖式同步”。注意:它不会删除 OSS 上多余文件,也不会跳过未修改文件。

容易踩的坑:os.walk 返回的 root 是相对路径,拼接 object key 时容易多出 ./ 或漏掉层级;同时忽略 .git、__pycache__ 等目录需显式过滤。

  • 推荐先用 bucket.head_object(key) 检查是否存在,再比对本地 mtime 和 OSS last_modified(需开启 bucket 版本控制或自己存 checksum)才能做真正增量
  • 简单覆盖同步示例中,object key 应用 os.path.relpath(os.path.join(root, file), local_dir) 计算,避免硬编码路径分隔符
  • 并发上传建议用 concurrent.futures.ThreadPoolExecutor,但线程数别超过 10,否则触发 OSS QPS 限流(默认 1000 QPS/bucket)

报错 InvalidBucketName 或 NoSuchBucket 怎么查

不是密钥错,而是 bucket 名称或 region 错了。OSS bucket 全局唯一,且创建后不能跨 region 访问。

  • 确认 bucket 确实存在:登录阿里云控制台 → 对象存储 OSS → 查看“Bucket 名称”和“地域”
  • Endpoint 必须与 bucket 所在地域严格匹配,例如华北2(北京)对应 https://oss-cn-beijing.aliyuncs.com,写成 oss-cn-hangzhou 就会报 NoSuchBucket
  • bucket 名称不能含下划线 _、大写字母、连续短横线,且长度 3–63 字符 —— 错误名称会直接被 oss2 拒绝初始化,抛 InvalidBucketName
  • 若用子账号 AccessKey,检查 RAM 策略是否显式允许该 bucket,如 "Resource": ["acs:oss:*:*:your-bucket-name/*"]

最常被忽略的是 Endpoint 协议和地域绑定——写错一个字符,错误信息就毫无提示地变成网络超时或 403,而不是明确的地域不匹配提示。

相关文章

python速学教程(入门到精通)
python速学教程(入门到精通)

python怎么学习?python怎么入门?python在哪学?python怎么学才快?不用担心,这里为大家提供了python速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1771

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

4604

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1729

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

27237

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3287

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3307

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1203

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

596

2023.08.10

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

100

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn