在哥白尼数据空间生态系统中下载哨兵数据并使用脚本检索和下载数据
文章目录
- 1.前言
- 2.Copernicus Data Space Ecosystem使用介绍
- 3.使用脚本检索和下载Sentinel数据
- 4.最后
建了一个QQ群,大家可以在里边聊聊水色遥感数据下载和数据处理方面的事情:1087024529
1.前言
最近使用Sentinelsat库在Copernicus Open Access Hub下载Sentienl数据时发现,数据总是处于offline状态,并且下载缓慢,一直以为是欧空局服务器不行。但进到Copernicus Open Access Hub官网发现,原来是Copernicus Open Access Hub即将在2023年9月份之后就不再使用。而新的数据发布地址改为了Copernicus Data Space Ecosystem:https://dataspace.copernicus.eu/
新网站在今年一月份就已经上线,但目前网上介绍该网站的帖子还没多少。这里就做一个简单介绍,以及切换到新网站后,如何使用脚本进行数据检索和下载Sentinel数据。
Copernicus Data Space Ecosystem一个特性就是:大部分数据没有offline!没有offline!没有offline!
2.Copernicus Data Space Ecosystem使用介绍
1.进入网站https://dataspace.copernicus.eu/,即可进入网站主页。
2.要想使用该网站进行数据检索与下载,需要注册一个账号。
3.注册之后,登录自己账号。在首页的Explore data下拉框,有两个链接,一个是Copernicus Browser(https://dataspace.copernicus.eu/browser),这个功能即可跳转到界面化的数据检索和下载页面。另外一个是Data collections,这个链接是对目前网站上存放数据的介绍。接下来主要介绍Copernicus Browser。
4.进入Copernicus Browser,可以看到有两个标签页。一个是VISUALIZE,另外一个是SEARCH。VISUALIZE是根据自己设定的条件进行检索,只是浏览。而SEARCH是根据自己设定的条件进行检索,检索到自己喜欢的数据之后还可以下载。页面右边可以进行更改图层,可以画兴趣区等操作。
5.这里介绍SEARCH标签页。和其他卫星数据检索网站一样,指定传感器,指定数据级别,指定时间、指定区域,即可进行检索。可以看到这个网站能够提供OLCI传感的水产品:WFR和WRR!!!
6.我这里把时间范围设置为了2020年8月1日到2020年9月30日。目的就是看看有没有offline的数据,结果就是数据没有offline的提示。点击下载按钮,即可直接下载数据!!!但目前一个问题是,点了下载按钮,没法选择保存数据的路径。
Copernicus Data Space Ecosystem网站除了以上的介绍,还提供了其他服务,大家可以尽情探索。
3.使用脚本检索和下载Sentinel数据
1.能够在页面检索和下载数据了,那自然要想到能不能用脚本完成这些任务。很显然是可以的,并且官方提供了好几个API接口。这些接口不止能检索和下载数据,简单的数据分析和处理也都可以做。关于各数据API的介绍见:https://documentation.dataspace.copernicus.eu/APIs.html
2. 我这边主要是使用OData进行数据的检索和下载,其他API大家自行探索下吧。OData接口说明见:https://documentation.dataspace.copernicus.eu/APIs/OData.html。
3. 在使用OData进行数据检索时,不用账号密码进行认证,直接构建HTTP请求的字符串,就能获得检索结果。官网提供了各种情况的实例。并分为了HTTP Request和Python脚本,大家可以一个一个看看,非常详细。这里主要说几个要注意的点。
4.默认检索结果是20个,最大是1000。如果要检索的结果超过20,则在请求链接中要加上$top=N。
4. 值得特别注意的是数据的ID号和数据对应的快试图ID号是不一样的,这和Copernicus Open Access Hub提供数据快视图链接的方式有区别。下载数据快试图的ID,也无须进行账号密码验证。这是快试图下载链接格式和一个样例:
https://catalogue.dataspace.copernicus.eu/odata/v1/Assets(快试图ID号)/$value
例子:
https://catalogue.dataspace.copernicus.eu/odata/v1/Assets(f4a87522-dd81-4c40-856e-41d40510e3b6)/$value
5.那么怎么去获取数据对应快试图的ID号,这就需要在请求链接中加上$expand=Assets参数,这样响应中才会包含快视图的信息。快视图的信息保存在一个字典里,里边包含了ID号。不过这个网站提供的快试图十分模糊,比原来Copernicus Open Access Hub提供的快试图还要模糊。
6.最后是数据下载。数据下载就需要进行账号密码验证了。在数据下载之前需要利用账号密码去请求一个access token,然后把access token加入到下载请求字符串中。
7.access token的获取见:https://documentation.dataspace.copernicus.eu/APIs/Token.html。提供了cURL和Python脚本的事例。这里的账号名是注册时使用的邮箱号。
8.access token的有效时间为10分钟,如果过期了需要重新请求。在重新请求时,有两种方案,一种还像上边一样使用账号密码。另外一种是使用Refresh Token。在获取access token时,其实还返回了一个Refresh Token,Refresh Token的有效期为60分钟。
9.数据下载的方式,见:https://documentation.dataspace.copernicus.eu/APIs/OData.html#product-download。
10.我这边使用wget的下载方式。wget数据下载的命令格式为:
wget --header "Authorization: Bearer 你获得的access token" 'http://catalogue.dataspace.copernicus.eu/odata/v1/Products(数据ID号)/$value' -O 数据保存位置
组合好的字符串放在命令行提示符中,回车就可以下载了(不过首先要配置好wget工具)。可以使用Python获取access token和根据需要检索数据。然后根据检索到的数据ID和access token构建下载请求字符串,使用subprocess库调用wget下载。
数据链接格式为:
http://catalogue.dataspace.copernicus.eu/odata/v1/Products(数据ID号)/$value
11.powershell中,会把wget命令转为它内置的下载工具,然后报错,目前还不知道怎么解决。大家也可以多多尝试其他下载方案。
理清思路,就可以使用这种方案批量检索和下载数据啦!只能说到这里啦!
4.最后
1.Copernicus Data Space Ecosystem除了一个F&Q的网页,回答了用户比较关心的问题。https://documentation.dataspace.copernicus.eu/FAQ.html
比如数据是否offline,还有一些其他的,大家自行阅读。
2.他们还开通了问答博客,大家使用过程中遇到的问题可以提问,官方的回复非常的热情。可能目前使用的人比较少,问答博客没有几个问题。hh,我还提问了,回复挺及时的。https://helpcenter.dataspace.copernicus.eu/hc/en-gb/community/topics
上一篇: 使用哨兵卫星软件包和 IDM 批量下载离线哨兵数据
下一篇: 我做了一个 "在线棋盘游戏合集":UNO+斗地主+五子棋",无需下载,打开就能玩!呼朋唤友,即刻开玩!无广告、无任务,享受 "纯粹 "游戏!
推荐阅读
-
在哥白尼数据空间生态系统中下载哨兵数据并使用脚本检索和下载数据
-
iCloud 切换区域,中国区保留 appStore(更新)--自 2018 年 2 月 28 日起,中国区 iCloud 由云上贵州管理 苹果公司发布的公告 https://support.apple.com/zh-cn/HT208352 关键词 关键部分 受影响的 iCloud 账户:国家或地区设置为 "中国 "的 Apple ID。 iCloud 包含的服务照片、邮件、通讯录、日历、提醒事项、备忘、书签、钱包、钥匙串、云备份、云驱动器、应用程序数据 新条款和条件: 同意仅出于本协议允许的目的并在中国法律允许的范围内使用服务。 云桂洲在提供服务时应使用合理的技能并尽职尽责,但在适用法律允许的最大范围内,我们不保证或担保您通过本服务存储或访问的任何内容不会意外损坏、崩溃、丢失或根据本协议的条款被删除,如果发生此类损坏、崩溃、丢失或删除,我们不承担任何责任。您应自行负责维护您的信息和数据的适当备份。 Apple 和云上贵州有权访问您存储在服务中的所有数据,包括有权根据适用法律相互之间共享、交换和披露所有用户数据(包括内容)。 本协议的解释、效力和履行应适用*法律。对于因本协议引起的或与本协议有关的任何争议,云桂洲和您同意提交中国国际经济贸易仲裁委员会(CIETAC)根据提交仲裁时有效的法律在北京进行具有约束力的仲裁。 由云桂洲管理,用户选择: 停用; ID 到地区; 受 iCloud(由云桂洲运营)条款和条件约束 首先,我想说说我对数据安全的看法。 当我在朋友圈发布通知时,有些朋友回复说国外的操作并没有多安全,或者国外的安全只是相对于国外而言的等等。首先,我非常感谢这些朋友,这让我反思什么是数据安全。以下观点均属个人观点: 国外的月亮一定比国内圆? 这是一个根深蒂固的问题,只要有人说国外的东西比国内好,就会有人嘲笑崇洋媚外。我觉得我们在某些方面应该向国外学习,比如搜索引擎和版权问题。打开百度搜索 "数据安全",第一行肯定是广告。打开谷歌搜索 "数据安全",第一条就是 "数据安全_百度百科" .....各种版权问题大家都明白,支持正版,但不仅客户一心想找免费破解,就连作者也往往没有保护自己劳动成果或产品的想法。但从另一个层面来说,国内的发展和安全,甩国外几条街。没有说哪里好,哪里不好,辩证地去学习更好。 国外也有别有用心的数据泄露,谈何安全? 从加密解密的角度看,自古以来就没有绝对安全的加密,只有相对安全的做法。苹果的棱镜门、微软的 cpu 漏洞,各种参差不齐的被破解案例 ....是的,这的确是一个很好的论据,但凡事都不能只看一面,当年苹果面对FBI破解手机的要求,几经论证,苹果还是拒绝破解。这点拿到国内,只要上面的文件传达下去,还有企业敢说不吗?还敢说不吗? 关于这次iCloud数据迁移个人看法? 把数据迁移到贵州的云端,相当于把手机的所有数据都存储在贵州的云端服务器上。也许访问数据的速度会快很多,但我会把我的iCloud区放到美国,因为我不想数据存在云上贵州后经常接到莫名其妙的电话或短信,更不想因为乱用国外服务器而被请去喝茶。iCloud一个ID,即从中国账号转到美国区,主要用于数据存在美国服务器上。appStore一个ID,除了注册一个中国ID外,专门用来下载应用用,因为国外ID不支持酷狗和网易云等应用。麻烦的是,用了新的 appStore ID 后,当前的应用还得重新下载安装,因为旧的应用 ID 与新的应用 ID 不兼容,安装不了。最后,iCloud迁移后,国内用户使用美国服务器,估计要 "扶墙 "了。 专业步骤: 首先,进行appleID设置,这是前提条件,否则无法选择转移区域! 取消 appleID 的双重认证 取消家庭共享选项 二、窗口下载并安装 icloud 3.0 版
-
南邮OJ Web任务大揭秘:层层挑战剖析 1. 挑战一:迷宫般的目录探索 题目作者似乎穷举了所有可能的目录组合,最终在404.php中的