欢迎您访问 最编程 本站为您分享编程语言代码,编程技术文章!
您现在的位置是: 首页

Python和NCL在处理netCDF文件中的scale_factor和add_offset: 一次全面的气象编程指南

最编程 2024-08-08 16:30:34
...

1.使用NCL的方案:

short2flt

Converts values of type short to values of type float using the "scale" and "offset" attributes (if present).

short2flt函数就能一步到位!

链接:

https://www.ncl.ucar.edu/Document/Functions/Contributed/short2flt.shtml

2.使用Python的方案:

使用python的netCDF4读取数据,发现数据集存在scale_factor和add_offset,但是我读取的数据应该是Unpacking data,也就是转换后的实际数据,不需要再处理,因为数据压缩是通过偏移和缩放之后将浮点数转化为整数,为了验证正确性,我通过下列代码验证:

from netCDF4 import Dataset

filename = r'geopotential.nc'
data = Dataset(filename)
print(data['z'].set_auto_maskandscale(True)) # 设置缩放和掩膜数组开启,默认就是开启,这句话可省略
print(data['z'][:]) # data1

print(data['z'].set_auto_maskandscale(False)) # 设置缩放和掩膜数组关闭
print(data['z'][:]) # 关闭后打印数据,得出的数据全部为整数
#将关闭后的数据应用缩放和偏移转换
print(data['z'][:]*data['z'].scale_factor+data['z'].add_offset) # data2
# 可以发现关闭data1和data2完全一致

'''
思路应该是这样:
采集到原始数据,然后为了节省存储空间,保证存储的数据精度,采取以下策略转换数据;
min:整个数据集的最小值, max:整个数据集的最大值, n:转化为多少个二进制数的整数,取决于你数据的范围,我这个数据集是16进制度
def compute_scale_and_offset(min, max, n):
    # stretch/compress data to the available packed range
    scale_factor = (max - min) / (2 ** n - 1)
    # translate the range to be symmetric about zero
    add_offset = min + 2 ** (n - 1) * scale_factor
    return (scale_factor, add_offset)
'''
def compute_scale_and_offset(min, max, n):
    # stretch/compress data to the available packed range
    scale_factor = (max - min) / (2 ** n - 1)
    # translate the range to be symmetric about zero
    add_offset = min + 2 ** (n - 1) * scale_factor
    return (scale_factor, add_offset)
# 我调用上述函数计算了偏移和缩放值:
import numpy as np
print(compute_scale_and_offset(np.array(data['z'][:]).min(),np.array(data['z'][:]).max(),16))
#得到的结果和我读取的ERA5文件中的scale_factor, add_offset一致。

参考链接:

https://www.codenong.com/cs105388609/