使用Python-cdo库进行气象数据处理
如果你不喜欢命令行的操作方式,那么你可以尝试使用python-cdo,利用python脚本语言的优势来处理气象数据。命令行的方式有其优势,比如简单易操作,可扩展性更强等,利用CDO的python接口也有其特有的优势,比如:
- 通过numpy/narray可以进行直接的数据操作
- 临时文件自动处理
- 灵活的并行化计算
- 条件处理操作
- 扩展新操作符
安装
安装方式非常简单,运行以下命令即可:
pip install cdo
或
conda install python-cdo
操作符
一般情况下导入库时不建议使用如下方式导入的,建议使用 from ... import ... as ... 。为了调用所有操作符,建议按照 In [5] 方式执行赋值语句,以防出现属性调用错误。
查看文件信息
In [4]: from cdo import *
In [5]: cdo = Cdo()
In [6]: cdo.sinfon(input = "wrfout_d02_2016-06-23_06_00_00")
Out[6]:
['File format : NetCDF2',
'-1 : Institut Source Steptype Levels Num Points Num Dtype : Parameter name',
'1 : unknown unknown instant 1 1 48240 1 F32 : LU_INDEX',
.....
'175 : unknown unknown instant 1 1 1 7 I32 : SEED2',
'Grid coordinates :',
'1 : curvilinear : points=48240 (240x201)',
'XLONG : 115.839 to 123.957 degrees_east',
'XLAT : 30.0914 to 35.6799 degrees_north',
........
'7 : generic : points=1',
'Vertical coordinates :',
'1 : surface : levels=1',
........
'4 : generic : levels=4',
'lev : 1 to 4 by 1 level',
'Time coordinate : 36 steps',
'YYYY-MM-DD hh:mm:ss YYYY-MM-DD hh:mm:ss YYYY-MM-DD hh:mm:ss YYYY-MM-DD hh:mm:ss',
'2016-06-23 06:00:00 2016-06-23 06:10:00 2016-06-23 06:20:00 2016-06-23 06:30:00',
.....
'2016-06-23 11:20:00 2016-06-23 11:30:00 2016-06-23 11:40:00 2016-06-23 11:50:00']
查看文件信息的操作符与CDO命令行操作符相同,在python中是以方法的方式调用。
通过 input 参数指定输入文件,如果需要输出文件时,则通过 output 参数指定:
In [8]: cdo.timmean(input = "wrfout_d02_2016-06-23_06_00_00", output = "wrfmean.nc")
性能对比
对比CDO命令行和Python-cdo接口的执行效率:
以下两个命令执行相同的操作:先选择1-5时步的所有变量数据,然后在结果中选择指定的变量。
In [21]: %time os.system("cdo -selname,SCW,SCTOT,SCH,SCS,REFL_10CM -seltimestep,1/5 wrfout_d02_2016-06-23_06_00_00 wrfsub_cdo.nc")
CPU times: user 0 ns, sys: 3.29 ms, total: 3.29 ms
Wall time: 36.9 s
Out[21]: 0
In [22]: %time cdo.selname("SCW,SCTOT,SCH,SCS,REFL_10CM",input = "-seltimestep,1/5 " + "wrfout_d02_2016-06-23_06_00_00", output = "wrfsub_python.nc")
CPU times: user 0 ns, sys: 3.65 ms, total: 3.65 ms
Wall time: 41.4 s
Out[22]: 'wrfsub_python.nc'
In [23]: %time os.system("cdo copy wrfout_d02_2016-06-23_06_00_00 wrfcopy_cdo.nc")
CPU times: user 2.3 ms, sys: 174 µs, total: 2.48 ms
Wall time: 10min 1s
Out[23]: 0
In [24]: %time cdo.copy(input = "wrfout_d02_2016-06-23_06_00_00", output = "wrfcopy_python.nc")
CPU times: user 0 ns, sys: 3.73 ms, total: 3.73 ms
Wall time: 10min 43s
Out[24]: 'wrfcopy_python.nc'
从上述结果中可以看出,CDO命令行的耗时和python接口的耗时差别不大。测试数据大小:19G。如果是对大量数据进行操作的话,可以优先使用命令行方式,效率相对会高一些。
注:未进行完全测试,结果可能存在一定偏差。
参数
在利用 CDO转换数据集格式 时,需要指定输出文件格式,比如选择变量或时步时也需要指定操作符的参数。
在使用pyhon接口时如何指定CDO命令行方式的参数呢?
In [25]: %time cdo.copy(input = "wrfout_d02_2016-06-23_06_00_00", output = "wrfcopy.grb", option = "-f grb")
CPU times: user 0 ns, sys: 4.12 ms, total: 4.12 ms
Wall time: 12min 18s
Out[25]: 'wrfcopy.grb'
只需要在调用方法时添加 option 参数即可。
为每个操作符添加参数时,只需要将参数作为方法的第一个参数即可。比如:
In [26]: %time cdo.seltimestep("1/3",input = "wrfout_d02_2016-06-23_06_00_00", output = "wrfsub1.grb", option = "-f grb")
CPU times: user 244 µs, sys: 3.87 ms, total: 4.11 ms
Wall time: 44.9 s
Out[26]: 'wrfsub1.grb'
链式操作
python-cdo中完整的支持类似CDO命令行的链式操作符,执行顺序和CDO命令行操作相同。
In [27]: %time cdo.selname("SCW,SCTOT,SCH,SCS,REFL_10CM",input = "-seltimestep,1/5 " + "wrfout_d02_2016-06-23_06_00_00", output = "wrfsub.grb", option = "-f grb")
CPU times: user 4.58 ms, sys: 349 µs, total: 4.93 ms
Wall time: 37.6 s
Out[27]: 'wrfsub.grb'
通过上述命令可以看出,除了 selname 操作的参数时在方法内单独给出之外,其余操作符(seltimestep)的调用方式和CDO命令行调用方式相同。
相当于:
cdo -selname,SCW,SCTOT,SCH,SCS,REFL_10CM -seltimestep,1/5 wrfout_d02_2016-06-23_06_00_00 wrfsub_cdo.nc
临时文件
CDO命令行的链式操作可以省却中间临时文件的输出,从而节省了不必要的空间存储,python-cdo也提供了临时文件的处理。
当不指定 output 参数时,当前文件夹下是不会生成输出文件的,但是从输出结果可以看出,输出文件存放到了临时文件夹下。
In [28]: %time cdo.selname("SCW,SCTOT,SCH,SCS,REFL_10CM",input = "-seltimestep,1/5 " + "wrfout_d02_2016-06-23_06_00_00")
CPU times: user 3.05 ms, sys: 4.09 ms, total: 7.14 ms
Wall time: 38.2 s
Out[28]: '/tmp/cdoPy_f_c2j0l'
类似临时文件的处理方式,当需要处理大量数据时,可以控制输出文件的输出,从而节省大量的时间(前提是不需要输出文件或是输出文件本身已经存在了)。可以通过以下两种方式控制输出文件的输出:
- 设置全局属性
cdo.forceoutput = True/False
- 操作符选项
cdo.selname("SCW", input = "wrfout_d02_2016-06-23_06_00_00", force = False)
多线程处理
python-cdo提供了多线程处理方式,可以处理能并行执行的任务。比如:
from cdo import *
import multiprocessing
def showlevel(arg):
return cdo.showlevel(input=arg)
cdo = Cdo()
cdo.debug = True
ifile = '../wrfsub.nc'
pool = multiprocessing.Pool(1)
results = []
for i in range(0,5):
results.append(pool.apply_async(showlevel, [ifile]))
pool.close()
pool.join()
for res in results:
print(res.get())
python-cdo最重要的更新之一就是支持 numpy/narray 数组操作。通常有3中方式来获取数据:
- 文件句柄
使用文件句柄可以非常方便的获取变量,属性,维度等信息。可以使用 returnCdf关键词或 readCdf
方法。比如:
In [50]: t = cdo.seltimestep("1/3", input = "wrfout_d02_2016-06-23_06_00_00", options = "-f nc", returnCdf = True).variables["T"][:]
In [51]: t.shape
Out[51]: (3, 59, 201, 240)
In [46]: ff = cdo.readCdf("wrfout_d02_2016-06-23_06_00_00")
In [47]: t = ff.variables["T"]
In [48]: t.shape
Out[48]: (36, 59, 201, 240)
- numpy/narray 对象
当需要读取特定变量时可使用此方式
In [52]: t = cdo.seltimestep("1/3", input = "wrfout_d02_2016-06-23_06_00_00", options = "-f nc", returnArray = "T")
In [53]: t.shape
Out[53]: (3, 59, 201, 240)
- 掩膜数组
如果目标变量含有缺省值,即有FillValue之类表示缺省值的属性,则会影响返回结果。比如:对海洋区域数据进行掩膜。
oro = cdo.setrtomiss(-10000, 0, input = cdo.topo( options = '-f nc'), returnMaArray = 'topo')
setrtomiss 表示将在 -10000, 0 之间的数设置为缺省值。
绘图
能够直接操作 numpy/narray 数据的好处之一就是处理好之后既可以直接进行绘图。当然,CDO也可以编译为支持 Magics++,然后在操作之后进行绘图操作,但是仍没有在python中利用 matplotlib 等绘图库要方便。
由于变量 t 在上面已经获取并且处理了,因此此处直接使用。
In [62]: import matplotlib.pyplot as plt
In [63]: plt.contourf(t[1, 6, :, :])
Out[63]: <matplotlib.contour.QuadContourSet at 0x7fc6832142b0>
In [64]: plt.colorbar()
Out[64]: <matplotlib.colorbar.Colorbar at 0x7fc6831896a0>
In [65]: plt.show()
关于python-cdo中提供的方法的使用方式,可以查看帮助。如果帮助看不明白,可以查看单元测试脚本,单元测试脚本中基本上包含了所有使用方式,比官方文档要更靠谱 [注1]。
注1:https://github.com/Try2Code/cdo-bindings/blob/master/python/test/test_cdo.py
推荐阅读
-
如何使用 dlib 库进行目标跟踪
-
使用 Snownlp 库进行 python 中文情感分析
-
深入理解 GMP:使用GNU多精度库进行高精度计算-4. GMP的优势和应用
-
介绍 SQL(数据库查询语言)和基本命令 [查看数据库/数据表、创建数据库/数据表、使用数据库/数据表、删除数据库/数据表、如何进行注释
-
使用 git 命令和 vscode 从零开始从远程代码库中拉取、提交、合并和推送分支,并在项目中进行练习
-
35 岁实现财务*,腾讯程序员手握2300万提前退休?-1000万房产、1000万腾讯股票、加上300万的现金,一共2300万的财产。有网友算了一笔账,假设1000万的房产用于自住,剩下1300万资产按照平均税后20-50万不等进行计算,大约花上26-60年左右的时间才能赚到这笔钱。也就是说,普通人可能奋斗一辈子,才能赚到这笔钱。在很多人还在为中年危机而惶惶不可终日的时候,有的人的35岁,就已经安全着陆,试问哪个打工人不羡慕?但问题是有这样财富积累必然有像样的实力做靠山。没有人可以不劳而获。 看到这里,肯定有人说,那么对于普通人来说,卷可能真就成了唯一的出路。但是卷也有轻松的卷,“偷懒”的卷法,对于程序员而言,刨除掉一时无法改掉的开会传统占用的大部分时间,如何把有限的时间和精力放在真正重要的架构设计、需求设计上,而不是重复的造*,编码、改bug、手动测试。因此在科技改变生活的今天,学会使用AI工具成为程序员们的必备技能。 以全栈式全自动的软件开发工具飞算SoFlu软件机器人为例,作为全球首款面向微服务架构设计和最佳实践的软件机器人,SoFlu软件机器人改变了原来手工编码的作业模式,通过可视化拖拽方式以及参数配置就能实现等同于编写复杂代码的业务逻辑,在设计业务逻辑时就完成了微服务应用开发,做到“业务即图,图即代码”,实现“软件开发,十倍提效”。 而作为飞算SoFlu软件机器人的一个重要组成部分,FuncGPT(慧函数)支持所有类型函数创建。通过自然语言描述Java函数需求,实时生成高质量、高可读性的Java函数代码。生成代码可直接复制到IDEA,或一键导入Java全自动开发工具函数库。 FuncGPT(慧函数)具有五大核心能力: ● 自然语言:通过自然语言即可生成函数,降低软件开发门槛。 ● 秒级函数开发:全自动秒级开发函数,秒级完成,效率千倍提升。 ● 一站式函数开发应用:函数生成即可直接应用,效率、安全有保障。 ● 质量可靠:生成的函数代码符合业界规范、具备良好的可读性,符合最优解。 ● 灵活生成:可以根据开发人员的具体需求生成并支持调整和修改。 以“将文件流转换为File对象”这个需求为例,以下是FuncGPT(慧函数)秒级生成的代码: / 类名:FileConverter // 函数名:convertStreamToFile // 函数功能:将文件流转换为File对象 // POM依赖包:无 import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; public class FileConverter { /** * 将文件流转换为File对象 * @param inputStream 文件流 * @param filePath 文件路径 * @param fileName 文件名 * @return 转换后的File对象 * @throws IOException 如果发生I/O异常 */ public static File convertStreamToFile(InputStream inputStream, String filePath, String fileName) throws IOException { File file = new File(filePath + File.separator + fileName); // 创建File对象 try (FileOutputStream outputStream = new FileOutputStream(file)) { // 创建文件输出流 byte buffer = new byte[1024]; int bytesRead; while ((bytesRead = inputStream.read(buffer)) != -1) { // 从文件流读取数据并写入文件 outputStream.write(buffer, 0, bytesRead); } } return file; // 返回转换后的File对象 } } // 函数示例 // 将文件流转换为File对象示例 // 入参:inputStream,文件流 // 入参:filePath,文件路径 // 入参:fileName,文件名 // 出参:file,转换后的File对象 // 调用示例: // InputStream inputStream = new FileInputStream("example.txt"); // String filePath = "C:\\Users\\User\\Documents"; // String fileName = "example.txt"; // File file = FileConverter.convertStreamToFile(inputStream, filePath, fileName); // System.out.println(file.getAbsolutePath); // 输出结果:例如,将文件流转换为File对象后,文件的绝对路径为:C:\Users\User\Documents\example.txt // 则输出结果为:C:\Users\User\Documents\example.txt 通过分析,不难发现以上代码:
-
文本分析--使用 jieba 库进行中文分词和去活字(附案例研究)
-
一种结构设计模式,允许在对象中动态添加新行为。它通过创建一个封装器来实现这一目的,即把对象放入一个装饰器类中,然后把这个装饰器类放入另一个装饰器类中,以此类推,形成一个封装器链。这样,我们就可以在不改变原始对象的情况下动态添加新行为或修改原始行为。 在 Java 中,实现装饰器设计模式的步骤如下: 定义一个接口或抽象类作为被装饰对象的基类。 公共接口 Component { void operation; } } 在本例中,我们定义了一个名为 Component 的接口,该接口包含一个名为 operation 的抽象方法,该方法定义了被装饰对象的基本行为。 定义一个实现基类方法的具体装饰对象。 公共类 ConcreteComponent 实现 Component { public class ConcreteComponent implements Component { @Override public void operation { System.out.println("ConcreteComponent is doing something...") ; } } 定义一个抽象装饰器类,该类继承于基类,并将装饰对象作为一个属性。 公共抽象类装饰器实现组件 { protected Component 组件 public Decorator(Component component) { this.component = component; } } @Override public void operation { component.operation; } } } 在这个示例中,我们定义了一个名为 Decorator 的抽象类,它继承了 Component 接口,并将被装饰对象作为一个属性。在操作方法中,我们调用了被装饰对象上的同名方法。 定义一个具体的装饰器类,继承自抽象装饰器类并实现增强逻辑。 公共类 ConcreteDecoratorA extends Decorator { public ConcreteDecoratorA(Component 组件) { super(component); } } public void operation { super.operation System.out.println("ConcreteDecoratorA 正在添加新行为......") ; } } 在本例中,我们定义了一个名为 ConcreteDecoratorA 的具体装饰器类,它继承自装饰器抽象类,并实现了操作方法的增强逻辑。在操作方法中,我们首先调用被装饰对象上的同名方法,然后添加新行为。 使用装饰器增强被装饰对象。 公共类 Main { public static void main(String args) { Component 组件 = new ConcreteComponent; component = new ConcreteDecoratorA(component); 组件操作 } } 在这个示例中,我们首先创建了一个被装饰对象 ConcreteComponent,然后通过 ConcreteDecoratorA 类创建了一个装饰器,并将被装饰对象作为参数传递。最后,调用装饰器的操作方法,实现对被装饰对象的增强。 使用场景 在 Java 中,装饰器模式被广泛使用,尤其是在 I/O 中。Java 中的 I/O 库使用装饰器模式实现了不同数据流之间的转换和增强。 让我们打开文件 a.txt,从中读取数据。InputStream 是一个抽象类,FileInputStream 是专门用于读取文件流的子类。BufferedInputStream 是一个支持缓存的数据读取类,可以提高数据读取的效率,具体代码如下: @Test public void testIO throws Exception { InputStream inputStream = new FileInputStream("C:/bbb/a.txt"); // 实现包装 inputStream = new BufferedInputStream(inputStream); byte bytes = new byte[1024]; int len; while((len = inputStream.read(bytes)) != -1){ System.out.println(new String(bytes, 0, len)); } } } } 其中 BufferedInputStream 对读取数据进行了增强。 这样看来,装饰器设计模式和代理模式似乎有点相似,接下来让我们讨论一下它们之间的区别。 第三,与代理模式的区别: 代理模式的目的是控制对对象的访问,它在对象外部提供一个代理对象来控制对原对象的访问。代理对象和原始对象通常实现相同的接口或继承相同的类,以确保两者可以相互替换。 装饰器模式的目的是动态增强对象的功能,而这是通过对象内部的包装器来实现的。在装饰器模式中,装饰器类和被装饰对象通常实现相同的接口或继承自相同的类,以确保两者可以相互替代。装饰器模式也被称为封装器模式。 在代理模式中,代理类附加了与原类无关的功能。
-
如何在 python 中使用 libpcap 库进行数据包捕获和数据处理。
-
如何使用 MTR 进行 MySQL 数据库可用性测试?