怎么测试大数据
先抛出个问题
- 我们为什么要测试大数据
什么大数据测试
大数据测试可以定义为涉及检查和验证大数据应用程序功能的过程
。大数据是传统存储系统无法处理的大量数据的集合。
策略
测试处理数 TB 数据的应用程序将从一个全新的级别和开箱即用思维中学习技能。质量保证团队关注的核心和重要测试基于三种方案。即
批处理数据处理测试
批处理数据处理测试涉及在批处理模式下使用批处理存储单元(如 HDFS)处理应用程序时运行数据的测试过程。批处理测试主要涉及
- 针对有故障的输入运行应用程序
- 更改数据量
实时数据处理测试
当应用程序处于实时数据处理模式时,实时数据处理测试处理数据
。应用程序使用实时处理工具(如Spark)运行。
实时测试涉及在实时环境中测试的应用程序,并检查其稳定性。
交互式数据处理测试
交互式数据处理测试集成了与应用程序交互的实际测试协议
,就像真实用户的观点一样。交互式数据处理模式使用交互式处理工具,如HiveSQL。
大数据
Big-Data 在处理传统数据处理单元无法处理的多种格式数据方面的优势而声名大噪。大数据可以处理的数据格式如下所示。
结构化数据
在易于访问的行和列下有意义地组织的表格数据称为结构化数据
。它可以在不同存储单元(如 RDBMS)的命名列下组织。比如表格数据
半结构化数据
半结构化数据完全位于结构化和非结构化数据之间。它不能直接引入 RDBMS,因为它包括元数据、标记,有时还包含重复的值。数据需要一些操作才能应用于数据,然后才能被输入。示例: Csv,Json(实际csv和excel的区别就是这个, 前者处理大数据有优势)
非结构化数据
不遵守任何类型结构的数据称为非结构化数据。与结构化数据不同,非结构化数据难以存储和检索。组织生成的数据大部分为非结构化数据类型。示例:图片, 视频, 音频
测试环境
拥有测试大数据应用程序的完美环境至关重要。构成数据测试的基本要求如下。
- 存储、处理和验证 Terra 字节数据的空间应可用。
- 群集及其各自的节点应响应
- 数据处理资源(如强大的 CPU)应可用
来了, 正题-- 大数据测试
测试大数据应用程序的一般方法涉及以下阶段。
数据引入
数据首先使用提取工具从源加载到大数据系统
。存储可能是 HDFS、MongoDB 或任何类似的存储。然后,对加载的数据进行交叉检查,以检查错误和缺失值。
数据处理
在此阶段,将生成数据的键值对。稍后,MapReduce 逻辑将应用于所有节点,并检查算法是否正常工作。此处将执行数据验证过程,以确保输出是预期的。
输出的验证
在此阶段,生成的输出已准备好迁移到数据仓库。在这里,检查转换逻辑,验证数据完整性,验证位置的键值对的准确性。
有许多类别可以测试大数据应用程序。下面很少登记主要类别。
- 单元测试
大数据中的单元测试与更简单应用程序中任何其他单元测试类似。完整的大数据应用程序分为多个部分
,每个细分市场都经过严格测试,具有多种可能性,以取得预期结果。如果段失败,则发送回开发和改进。
- 功能测试
功能测试可以称为测试大数据应用程序的不同阶段。大数据应用程序旨在处理巨大的数据块。如此庞大的数据量和种类繁多的数据往往容易带来数据问题,例如数据错误、值重复、元数据、缺少值
等等。
这正是测试大数据的先驱者设计大数据功能测试程序的原因。测试大数据的不同阶段如下。
数据验证阶段
- 数据验证阶段处理大数据应用程序中的业务逻辑和层
- 数据从源收集,并针对业务用例运行
- 检查收集的数据的准确性和通过应用程序的层移动
- 在此阶段,大数据通过聚合和筛选机制进行测试
- 数据根据业务规则进行端到端验证和转换逻辑
数据完整性阶段
- 数据是否完整,并验证参考完整性
- 根据错误条件验证数据约束和重复
- 识别每个层架构限制的边界测试
数据引入阶段
- 检查应用程序与不同数据模块连接的能力
- 数据使用消息传递系统重播,并监控任何数据丢失
- 这一阶段的主要座右铭是实现以下品质
- 容错
- 连续数据可用性
- 与各种数据流的稳定连接-
数据处理阶段
- 数据处理阶段仔细检查和执行业务逻辑
- 业务规则经过交叉验证
- 映射减少逻辑在每个阶段都得到验证
- 数据从端到端处理
- 应用程序被检查有无异常,它们得到完美的处理
数据存储阶段
数据存储阶段侧重于以下参数
- 读取和写入超时
- 持续可用性
- 负载平衡
- 查询性能分析
报表生成阶段
这是功能测试的最后阶段。它处理以下问题。
- 度量和维度的数据验证
- 实时报告
- 数据向上钻取和向下钻取机制
- 业务报告和图表
-
非功能测试
-
性能测试
-
建筑
Read More
-
大数据测试
-
什么大数据测试
原文地址:https://www.cnblogs.com/ievjai/p/14382783.html
上一篇: 测试用例设计方法 - 边界值分类
下一篇: 软考系统架构师(VIII):软件测试
推荐阅读
-
Python:使用 Faker 随机生成测试数据
-
工程师的基本技能是什么?如何练就?听听美团的技术大咖们怎么说
-
(转)台式机华硕主板双显卡切换,怎么舒服怎么来 -4 性能测试
-
35 岁实现财务*,腾讯程序员手握2300万提前退休?-1000万房产、1000万腾讯股票、加上300万的现金,一共2300万的财产。有网友算了一笔账,假设1000万的房产用于自住,剩下1300万资产按照平均税后20-50万不等进行计算,大约花上26-60年左右的时间才能赚到这笔钱。也就是说,普通人可能奋斗一辈子,才能赚到这笔钱。在很多人还在为中年危机而惶惶不可终日的时候,有的人的35岁,就已经安全着陆,试问哪个打工人不羡慕?但问题是有这样财富积累必然有像样的实力做靠山。没有人可以不劳而获。 看到这里,肯定有人说,那么对于普通人来说,卷可能真就成了唯一的出路。但是卷也有轻松的卷,“偷懒”的卷法,对于程序员而言,刨除掉一时无法改掉的开会传统占用的大部分时间,如何把有限的时间和精力放在真正重要的架构设计、需求设计上,而不是重复的造*,编码、改bug、手动测试。因此在科技改变生活的今天,学会使用AI工具成为程序员们的必备技能。 以全栈式全自动的软件开发工具飞算SoFlu软件机器人为例,作为全球首款面向微服务架构设计和最佳实践的软件机器人,SoFlu软件机器人改变了原来手工编码的作业模式,通过可视化拖拽方式以及参数配置就能实现等同于编写复杂代码的业务逻辑,在设计业务逻辑时就完成了微服务应用开发,做到“业务即图,图即代码”,实现“软件开发,十倍提效”。 而作为飞算SoFlu软件机器人的一个重要组成部分,FuncGPT(慧函数)支持所有类型函数创建。通过自然语言描述Java函数需求,实时生成高质量、高可读性的Java函数代码。生成代码可直接复制到IDEA,或一键导入Java全自动开发工具函数库。 FuncGPT(慧函数)具有五大核心能力: ● 自然语言:通过自然语言即可生成函数,降低软件开发门槛。 ● 秒级函数开发:全自动秒级开发函数,秒级完成,效率千倍提升。 ● 一站式函数开发应用:函数生成即可直接应用,效率、安全有保障。 ● 质量可靠:生成的函数代码符合业界规范、具备良好的可读性,符合最优解。 ● 灵活生成:可以根据开发人员的具体需求生成并支持调整和修改。 以“将文件流转换为File对象”这个需求为例,以下是FuncGPT(慧函数)秒级生成的代码: / 类名:FileConverter // 函数名:convertStreamToFile // 函数功能:将文件流转换为File对象 // POM依赖包:无 import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; public class FileConverter { /** * 将文件流转换为File对象 * @param inputStream 文件流 * @param filePath 文件路径 * @param fileName 文件名 * @return 转换后的File对象 * @throws IOException 如果发生I/O异常 */ public static File convertStreamToFile(InputStream inputStream, String filePath, String fileName) throws IOException { File file = new File(filePath + File.separator + fileName); // 创建File对象 try (FileOutputStream outputStream = new FileOutputStream(file)) { // 创建文件输出流 byte buffer = new byte[1024]; int bytesRead; while ((bytesRead = inputStream.read(buffer)) != -1) { // 从文件流读取数据并写入文件 outputStream.write(buffer, 0, bytesRead); } } return file; // 返回转换后的File对象 } } // 函数示例 // 将文件流转换为File对象示例 // 入参:inputStream,文件流 // 入参:filePath,文件路径 // 入参:fileName,文件名 // 出参:file,转换后的File对象 // 调用示例: // InputStream inputStream = new FileInputStream("example.txt"); // String filePath = "C:\\Users\\User\\Documents"; // String fileName = "example.txt"; // File file = FileConverter.convertStreamToFile(inputStream, filePath, fileName); // System.out.println(file.getAbsolutePath); // 输出结果:例如,将文件流转换为File对象后,文件的绝对路径为:C:\Users\User\Documents\example.txt // 则输出结果为:C:\Users\User\Documents\example.txt 通过分析,不难发现以上代码:
-
天池四月读书会|数据分析与金融量化,6场直播,6位大佬,6个项目实践...
-
第 8 章 人工智能大模型的安全与伦理 8.1 数据安全与隐私保护 8.1.2 数据脱敏
-
鹅厂的另一个蠢问题:当 TCP 收到一个有四个摆动的乱码 FIN 数据包时,它会怎么做?
-
如何在数据中心测试中使用仪表构建 InfiniBand 流量
-
适用于 Windows 和 Mac 的十大误删数据恢复软件
-
Web UI 自动化测试程序(超干货)看完你会不会找我!-数据文件驱动程序:最典型的 csv 文件、xml 文件、txt 文件