使用Python进行数据分析和自动化
组织严重依赖数据分析和自动化来提高运营效率。在本文中,我们将使用 Python(一种用于通用编程的高级编程语言)的示例来研究数据分析和自动化的基础知识。
什么是数据分析?
数据分析是指检查、清理、转换和建模数据的过程,以便识别有用的信息、得出结论并支持决策。这是一项重要的活动,有助于将原始数据转化为可操作的见解。以下是数据分析涉及的关键步骤:
- 收集:从不同来源收集数据。
- 清理:删除或纠正收集的数据集中的不准确和不一致性。
- 转换:将收集的数据集转换为适合进一步分析的格式。
- 建模:在转换后的数据集上应用统计或机器学习模型。
- 可视化:使用合适的工具(例如 MS Excel 或 Python 的 matplotlib 库)创建图表、图形等,以直观的方式呈现调查结果。
数据自动化的重要性
数据自动化涉及使用技术来执行与处理大型数据集相关的重复性任务,并且只需极少的人工干预。自动化这些流程可以大大提高效率,从而为分析师节省时间,让他们可以更专注于复杂的任务。它的一些常见应用领域包括:
- 数据提取:自动从各种来源收集和存储数据。
- 数据清理和转换:在对收集的数据集执行建模或可视化等其他操作之前,使用脚本或工具(例如 Python Pandas 库)对其进行预处理。
- 报告生成:创建自动报告或仪表板,每当新记录到达我们的系统等时,它们就会自行更新。
- 数据集成: 将从多个来源获得的信息结合起来,以便在决策过程中进一步分析时获得整体视图。
Python 数据分析简介
Python是一种广泛用于数据分析的编程语言,因为它简单易读,并且有大量可用于统计计算的库。以下是一些简单示例,演示了如何使用 Python 读取大型数据集以及执行基本分析:
读取大型数据集
将数据集读入您的环境是任何数据分析项目的初始阶段之一。在这种情况下,我们将需要提供强大数据操作和分析工具的 Pandas 库。
Python
将pandas 导入为 pdbr
br
# 定义大数据集的文件路径br
file_path = '路径/到/large_dataset.csv'br
br
# 指定块大小(每个块的行数)br
块大小= 100000br
br
# 初始化一个空列表来存储结果br
结果= []br
br
# 分块迭代数据集br
对于 pd中的块.read_csv (file_path ,chunksize = chunk_size ): br
# 对每个块进行基本分析br
# 示例:计算特定列的平均值br
chunk_mean = chunk [ 'column_name' ]. mean ()br
结果.append ( chunk_mean )br
br
# 从每个块的结果计算总体平均值br
总体平均值=总和(结果)/ 长度(结果)br
打印(f'column_name 的总体平均值:{overall_mean}')br
基础数据分析
加载数据后,重要的是对其进行一些初步检查,以熟悉其内容。
执行聚合分析
有时您可能希望对整个数据集执行更高级的聚合分析。例如,假设我们想通过分块处理来查找整个数据集中某一列的总和。
Python
# 初始化一个变量来存储累计和br
累计总和= 0br
br
# 分块迭代数据集br
对于 pd中的块.read_csv (file_path ,chunksize = chunk_size ): br
# 计算当前块的特定列的总和br
chunk_sum = chunk [ 'column_name' ]. sum ()br
累积总和+=块总和br
br
打印(f'column_name 的累计总和:{cumulative_sum}')
分块处理缺失值
在数据预处理过程中,缺失值很常见。这里是使用每个块的平均值填充缺失值的一个例子。
Python
# 初始化一个空的 DataFrame 来存储处理后的块br
已处理的数据块= []br
br
# 分块迭代数据集br
对于 pd中的块.read_csv (file_path ,chunksize = chunk_size ): br
# 使用块的平均值填充缺失值br
chunk . fillna ( chunk . mean (), inplace = True )br
processing_chunks.append ( chunk )br
br
# 将所有处理过的块连接成一个 DataFramebr
处理后的数据= pd.concat (处理后的块,轴= 0 )br
打印(processed_data.head())
区块的最终统计数据
有时,需要从所有块中获取总体统计数据。此示例说明如何通过聚合每个块的结果来计算整个列的平均值和标准差。
Python
将numpy 导入为 npbr
br
# 初始化变量来存储累计总和和计数br
累计总和= 0br
累计计数= 0br
平方和= 0br
br
br
# 分块迭代数据集br
对于 pd中的块.read_csv (file_path ,chunksize = chunk_size ): br
# 计算当前块的总和和计数br
chunk_sum = chunk [ 'column_name' ]. sum ()br
chunk_count = chunk [ 'column_name' ]. count ()br
chunk_squared_sum = ( chunk [ 'column_name' ] ** 2 ).sum ()复制代码br
br
累积总和+=块总和br
累积计数+=块计数br
squared_sum += chunk_squared_sumbr
br
# 计算平均值和标准差br
总体平均值=累积总和 / 累积计数br
总体标准差= np.sqrt ( (平方和/累计计数) - (总体平均值** 2 )) br
打印(f'column_name 的总体平均值:{overall_mean}')br
print ( f'column_name 的总体标准差:{overall_std}' )
结论
使用 Python 分块读取大型数据集有助于高效地处理和分析数据,而不会占用过多的系统内存。通过利用 Pandas 的分块功能,可以在大型数据集上完成涉及数据分析的各种任务,同时确保可扩展性和效率。提供的示例说明了如何分部分读取大型数据集、解决缺失值以及执行聚合分析;从而为使用 Python 处理大量数据奠定了坚实的基础。
推荐阅读
-
Pandas | 使用 pandas 分析爱彼数据集,加深对数据和函数使用的理解。
-
python 数据分析和可视化入门
-
Python 知识点:如何使用 Google 云 IoT 和 Python 进行边缘计算
-
python 数据分析和可视化
-
Python 知识:如何使用 Flink 和 Python 进行实时数据处理
-
用 matlab 进行数据处理和分析
-
14-傅里叶变换的代码实现-一、numpy实现傅里叶变换和逆傅里叶变换 1.numpy实现傅里叶变换numpy.fft.fft2实现傅里叶变换,返回一个复数数组(complex ndarray),也就是频谱图像numpy.fft.fftshift将零频率分量移到频谱中心(将左上角的低频区域,移到中心位置) 20*np.log(np.abs(fshift))设置频谱的范围。可以理解为,之前通过傅里叶变换得到复数的数组,是不能通过图像的方法展示出来的,需要转换为灰度图像(映射到[0,255]区间)需要注意的是1> 傅里叶得到低频、高频信息,针对低频、高频处理能够实现不同的目的2> 傅里叶过程是可逆的,图像经过傅里叶变换、逆傅里叶变换后,能够恢复到原始图像3> 在频域对图像进行处理,在频域的处理会反映在逆变换图像上 # 将绘制的图显示在窗口 %matplotlib qt5 import cv2 import numpy as np import matplotlib.pyplot as plt img = cv2.imread(r"image\lena.bmp",cv2.IMREAD_GRAYSCALE) # 傅里叶变换 f = np.fft.fft2(img) # 移动中心位置 fshift = np.fft.fftshift(f) # 调整值范围 result = 20*np.log(np.abs(fshift)) plt.subplot(1,2,1) plt.imshow(img,cmap=plt.cm.gray) plt.title("original") plt.axis("off") plt.subplot(1,2,2) plt.imshow(result,cmap=plt.cm.gray) plt.title("result") plt.axis("off") plt.show 傅里叶变换的频谱图像: 2.numpy实现逆傅里叶变换numpy.fft.ifft2实现逆傅里叶变换,返回一个复数数组(complex ndarray)numpy.fft.ifftshiftfftshift函数的逆函数,将中心位置的低频,重新移到左上角iimg = np.abs(逆傅里叶变化结果)设置值的范围,映射到[0,255]区间 # 将绘制的图显示在窗口 %matplotlib qt5 import cv2 import numpy as np import matplotlib.pyplot as plt img = cv2.imread(r"image\boat.bmp",cv2.IMREAD_GRAYSCALE) # 傅里叶变换 f = np.fft.fft2(img) fshift = np.fft.fftshift(f) # 逆傅里叶变换 ishift = np.fft.ifftshift(fshift) iimg = np.fft.ifft2(ishift) iimg = np.abs(iimg) plt.subplot(1,2,1) plt.imshow(img,cmap=plt.cm.gray) plt.title("original") plt.axis("off") plt.subplot(1,2,2) plt.imshow(iimg,cmap=plt.cm.gray) plt.title("iimg") plt.axis("off") plt.show 将一副图像,进行傅里叶变换和逆傅里叶变换后,进行对比(一样的) 实例:通过numpy实现高通滤波,保留图像的边缘信息 获取图像的形状rows,cols = img.shape获取图像的中心点crow,ccol = int(rows/2),int(cols/2)将频谱图像的中心区域(低频区域)设置为0(黑色)fshift[crow-30:crow+30,ccol-30:ccol+30] = 0 # 将绘制的图显示在窗口 %matplotlib qt5 import cv2 import numpy as np import matplotlib.pyplot as plt img = cv2.imread(r"image\boat.bmp",cv2.IMREAD_GRAYSCALE) # 傅里叶变换 f = np.fft.fft2(img) fshift = np.fft.fftshift(f) # 高通滤波 rows,cols = img.shape crow,ccol = int(rows/2),int(cols/2) fshift[crow-30:crow+30,ccol-30:ccol+30] = 0 # 逆傅里叶变换 ishift = np.fft.ifftshift(fshift) iimg = np.fft.ifft2(ishift) iimg = np.abs(iimg) plt.subplot(1,2,1) plt.imshow(img,cmap=plt.cm.gray) plt.title("original") plt.axis("off") plt.subplot(1,2,2) plt.imshow(iimg,cmap=plt.cm.gray) plt.title("iimg") plt.axis("off") plt.show 使用numpy实现高通滤波的实验结果: 二、opencv实现傅里叶变换和逆傅里叶变换 1.opencv实现傅里叶变换 返回结果 = cv2.dft(原始图像,转换标识)1> 返回结果:是双通道的,第一个通道是结果的实数部分,第二个通道是结果的虚数部分2> 原始图像:输入图像要首先转换成np.float32(img)格式3> 转换标识:flags = cv2.DFT_COMPLEX_OUTPUT,输出一个复数阵列numpy.fft.fftshift将零频率分量移到频谱中心(将左上角的低频区域,移到中心位置)调整频谱的范围,将上面频谱图像的复数数组,转换为可以显示的灰度图像(映射到[0,255]区间)返回值 = 20*np.log(cv2.magnitude(参数1,参数2))1> 参数1:浮点型X坐标值,也就是实部2> 参数2:浮点型Y坐标值,也就是虚部 # 将绘制的图显示在窗口 %matplotlib qt5 import cv2 import numpy as np import matplotlib.pyplot as plt img = cv2.imread(r"image\lena.bmp",cv2.IMREAD_GRAYSCALE) # 傅里叶变换 dft = cv2.dft(np.float32(img),flags = cv2.DFT_COMPLEX_OUTPUT) # 移动中心位置 dftShift = np.fft.fftshift(dft) # 调整频谱的范围 result = 20*np.log(cv2.magnitude(dftShift[:,:,0],dftShift[:,:,1])) plt.subplot(1,2,1) plt.imshow(img,cmap=plt.cm.gray) plt.title("original") plt.axis("off") plt.subplot(1,2,2) plt.imshow(result,cmap=plt.cm.gray) plt.title("result") plt.axis("off") plt.show 傅里叶变换的频谱图像: 2.opencv实现逆傅里叶变换返回结果 = cv2.idft(原始数据)1> 返回结果:取决于原始数据的类型和大小2> 原始数据:实数或者复数均可numpy.fft.ifftshiftfftshift函数的逆函数,将中心位置的低频,重新移到左上角调整频谱的范围,映射到[0,255]区间返回值 = cv2.magnitude(参数1,参数2)1> 参数1:浮点型X坐标值,也就是实部2> 参数2:浮点型Y坐标值,也就是虚部 # 将绘制的图显示在窗口 %matplotlib qt5 import cv2 import numpy as np import matplotlib.pyplot as plt img = cv2.imread(r"image\lena.bmp",cv2.IMREAD_GRAYSCALE) # 傅里叶变换 dft = cv2.dft(np.float32(img),flags = cv2.DFT_COMPLEX_OUTPUT) dftShift = np.fft.fftshift(dft) # 逆傅里叶变换 ishift = np.fft.ifftshift(dftShift) iimg = cv2.idft(ishift) iimg = cv2.magnitude(iimg[:,:,0],iimg[:,:,1]) plt.subplot(1,2,1) plt.imshow(img,cmap=plt.cm.gray) plt.title("original") plt.axis("off") plt.subplot(1,2,2) plt.imshow(iimg,cmap=plt.cm.gray) plt.title("inverse") plt.axis("off") plt.show 将一副图像,进行傅里叶变换和逆傅里叶变换后,进行对比(一样的) 实例:通过opencv实现低通滤波,模糊一副图像
-
【视频】Python用LSTM长短期记忆神经网络对不稳定降雨量时间序列进行预测分析|数据分享|附代码数据
-
使用Servlet、JSP和JavaBean进行Web数据库的增删改查操作
-
使用C#与CH341进行SPI和I2C数据传输