fastp 数据过滤和质量控制
最编程
2024-03-23 09:03:09
...
二、常见用法
过滤
1）质量过滤 :
2）长度过滤：长度过滤默认开启，可通过
3）低复杂度过滤：默认不开启，可通过
Adapter
1）SE数据：
2）PE数据：
##per read cutting by quality score
目前数据illumina测序质量较好，该功能一般用不上，可参考https://github.com/OpenGene/fastp#get-fastp
global trimming
从序列开头或结尾去除一定数量的碱基：
polyX trimming
unique molecular identifier(UMI) processing
常用于duplication的消除和错误纠正，常用于如线粒体DNA等深度测序，普遍用于illumina平台，可分为index和read两部分，使用
过滤
1）质量过滤 :
-q/--qualified_quality_pherd 高于此值才算数，默认15；-u/--unquantified_percent_limit允许unqualified的碱基百分比，默认40%2）长度过滤：长度过滤默认开启，可通过
-L取消，-l/--length_required定义需要的最短长度，默认为15；--length_limit定义接受的最长长度，默认为0表示没有限制3）低复杂度过滤：默认不开启，可通过
-y开启，通过-Y定义过滤条件Adapter
1）SE数据：
-a2）PE数据：
--adapter_sequence指定read1的adapter序列 --adapter_sequence_r2指定read2的adapter序列；也可以--detect_adapter_for_pe开启illumina系列adapter自动检测功能##per read cutting by quality score
目前数据illumina测序质量较好，该功能一般用不上，可参考https://github.com/OpenGene/fastp#get-fastp
global trimming
从序列开头或结尾去除一定数量的碱基：
-f/--trim_front1表示从read1的开头去除，-t/--trim_tail1从read1的尾部去除；-F -T则分别表示从read2去除-b/--max_len1 表示read1经trim之后最长的长度 -B则指read2的相应情况polyX trimming
-x/--trim_poly_x实现polyX的去除，默认长度为10--poly_x_min_len指定polyX的长度，默认为10unique molecular identifier(UMI) processing
常用于duplication的消除和错误纠正，常用于如线粒体DNA等深度测序，普遍用于illumina平台，可分为index和read两部分，使用
-U/--umi来开启此功能，--umi_loc指定UMI的位置如index1 index2 read1 read2，若UMI指定在read上，则--umi_len用于指定UMI的长度推荐阅读
-
基于电力线载波的数据通信和远程控制
-
35 岁实现财务*，腾讯程序员手握2300万提前退休？-1000万房产、1000万腾讯股票、加上300万的现金，一共2300万的财产。有网友算了一笔账，假设1000万的房产用于自住，剩下1300万资产按照平均税后20-50万不等进行计算，大约花上26-60年左右的时间才能赚到这笔钱。也就是说，普通人可能奋斗一辈子，才能赚到这笔钱。在很多人还在为中年危机而惶惶不可终日的时候，有的人的35岁，就已经安全着陆，试问哪个打工人不羡慕？但问题是有这样财富积累必然有像样的实力做靠山。没有人可以不劳而获。 看到这里，肯定有人说，那么对于普通人来说，卷可能真就成了唯一的出路。但是卷也有轻松的卷，“偷懒”的卷法，对于程序员而言，刨除掉一时无法改掉的开会传统占用的大部分时间，如何把有限的时间和精力放在真正重要的架构设计、需求设计上，而不是重复的造*，编码、改bug、手动测试。因此在科技改变生活的今天，学会使用AI工具成为程序员们的必备技能。 以全栈式全自动的软件开发工具飞算SoFlu软件机器人为例，作为全球首款面向微服务架构设计和最佳实践的软件机器人,SoFlu软件机器人改变了原来手工编码的作业模式,通过可视化拖拽方式以及参数配置就能实现等同于编写复杂代码的业务逻辑,在设计业务逻辑时就完成了微服务应用开发,做到“业务即图,图即代码”,实现“软件开发,十倍提效”。 而作为飞算SoFlu软件机器人的一个重要组成部分，FuncGPT（慧函数）支持所有类型函数创建。通过自然语言描述Java函数需求，实时生成高质量、高可读性的Java函数代码。生成代码可直接复制到IDEA，或一键导入Java全自动开发工具函数库。 FuncGPT（慧函数）具有五大核心能力： ● 自然语言：通过自然语言即可生成函数，降低软件开发门槛。 ● 秒级函数开发：全自动秒级开发函数，秒级完成，效率千倍提升。 ● 一站式函数开发应用：函数生成即可直接应用，效率、安全有保障。 ● 质量可靠：生成的函数代码符合业界规范、具备良好的可读性，符合最优解。 ● 灵活生成：可以根据开发人员的具体需求生成并支持调整和修改。 以“将文件流转换为File对象”这个需求为例，以下是FuncGPT（慧函数）秒级生成的代码： / 类名：FileConverter // 函数名：convertStreamToFile // 函数功能：将文件流转换为File对象 // POM依赖包：无 import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; public class FileConverter { /** * 将文件流转换为File对象 * @param inputStream 文件流 * @param filePath 文件路径 * @param fileName 文件名 * @return 转换后的File对象 * @throws IOException 如果发生I/O异常 */ public static File convertStreamToFile(InputStream inputStream, String filePath, String fileName) throws IOException { File file = new File(filePath + File.separator + fileName); // 创建File对象 try (FileOutputStream outputStream = new FileOutputStream(file)) { // 创建文件输出流 byte buffer = new byte[1024]; int bytesRead; while ((bytesRead = inputStream.read(buffer)) != -1) { // 从文件流读取数据并写入文件 outputStream.write(buffer, 0, bytesRead); } } return file; // 返回转换后的File对象 } } // 函数示例 // 将文件流转换为File对象示例 // 入参：inputStream，文件流 // 入参：filePath，文件路径 // 入参：fileName，文件名 // 出参：file，转换后的File对象 // 调用示例： // InputStream inputStream = new FileInputStream("example.txt"); // String filePath = "C:\\Users\\User\\Documents"; // String fileName = "example.txt"; // File file = FileConverter.convertStreamToFile(inputStream, filePath, fileName); // System.out.println(file.getAbsolutePath); // 输出结果：例如，将文件流转换为File对象后，文件的绝对路径为：C:\Users\User\Documents\example.txt // 则输出结果为：C:\Users\User\Documents\example.txt 通过分析，不难发现以上代码：
-
软件质量保证和质量控制
-
软件质量：软件质量：表征、控制和改进-2。
-
2022 年网络安全：关注质量》报告中对数据安全热点和趋势的解释
-
一种结构设计模式，允许在对象中动态添加新行为。它通过创建一个封装器来实现这一目的，即把对象放入一个装饰器类中，然后把这个装饰器类放入另一个装饰器类中，以此类推，形成一个封装器链。这样，我们就可以在不改变原始对象的情况下动态添加新行为或修改原始行为。 在 Java 中，实现装饰器设计模式的步骤如下： 定义一个接口或抽象类作为被装饰对象的基类。 公共接口 Component { void operation; } } 在本例中，我们定义了一个名为 Component 的接口，该接口包含一个名为 operation 的抽象方法，该方法定义了被装饰对象的基本行为。 定义一个实现基类方法的具体装饰对象。 公共类 ConcreteComponent 实现 Component { public class ConcreteComponent implements Component { @Override public void operation { System.out.println("ConcreteComponent is doing something...") ； } } 定义一个抽象装饰器类，该类继承于基类，并将装饰对象作为一个属性。 公共抽象类装饰器实现组件 { protected Component 组件 public Decorator(Component component) { this.component = component; } } @Override public void operation { component.operation; } } } 在这个示例中，我们定义了一个名为 Decorator 的抽象类，它继承了 Component 接口，并将被装饰对象作为一个属性。在操作方法中，我们调用了被装饰对象上的同名方法。 定义一个具体的装饰器类，继承自抽象装饰器类并实现增强逻辑。 公共类 ConcreteDecoratorA extends Decorator { public ConcreteDecoratorA(Component 组件) { super(component)； } } public void operation { super.operation System.out.println("ConcreteDecoratorA 正在添加新行为......") ； } } 在本例中，我们定义了一个名为 ConcreteDecoratorA 的具体装饰器类，它继承自装饰器抽象类，并实现了操作方法的增强逻辑。在操作方法中，我们首先调用被装饰对象上的同名方法，然后添加新行为。 使用装饰器增强被装饰对象。 公共类 Main { public static void main(String args) { Component 组件 = new ConcreteComponent； component = new ConcreteDecoratorA(component)； 组件操作 } } 在这个示例中，我们首先创建了一个被装饰对象 ConcreteComponent，然后通过 ConcreteDecoratorA 类创建了一个装饰器，并将被装饰对象作为参数传递。最后，调用装饰器的操作方法，实现对被装饰对象的增强。 使用场景 在 Java 中，装饰器模式被广泛使用，尤其是在 I/O 中。Java 中的 I/O 库使用装饰器模式实现了不同数据流之间的转换和增强。 让我们打开文件 a.txt，从中读取数据。InputStream 是一个抽象类，FileInputStream 是专门用于读取文件流的子类。BufferedInputStream 是一个支持缓存的数据读取类，可以提高数据读取的效率，具体代码如下： @Test public void testIO throws Exception { InputStream inputStream = new FileInputStream("C:/bbb/a.txt")； // 实现包装 inputStream = new BufferedInputStream(inputStream)； byte bytes = new byte[1024]； int len； while((len = inputStream.read(bytes)) ！= -1){ System.out.println(new String(bytes, 0, len)); } } } } 其中 BufferedInputStream 对读取数据进行了增强。 这样看来，装饰器设计模式和代理模式似乎有点相似，接下来让我们讨论一下它们之间的区别。 第三，与代理模式的区别： 代理模式的目的是控制对对象的访问，它在对象外部提供一个代理对象来控制对原对象的访问。代理对象和原始对象通常实现相同的接口或继承相同的类，以确保两者可以相互替换。 装饰器模式的目的是动态增强对象的功能，而这是通过对象内部的包装器来实现的。在装饰器模式中，装饰器类和被装饰对象通常实现相同的接口或继承自相同的类，以确保两者可以相互替代。装饰器模式也被称为封装器模式。 在代理模式中，代理类附加了与原类无关的功能。
-
正负偏差变量 即 d2+、d2- 分别表示决策值中超出和未达到目标值的部分。而 di+、di- 均大于 0 刚性约束和目标约束（柔性目标约束有偏差） 在多目标规划中，>=/<= 在刚性约束中保持不变。当需要将约束条件转换为柔性约束条件时，需要将 >=/<= 更改为 =（因为已经有 d2+、d2- 用来表示正负偏差），并附加上 (+dii-di+) 注意这里是 +di、-di+！之所以是 +di，-di+，是因为需要将目标还原为最接近的原始刚性约束条件 优先级因素和权重因素 对多个目标进行优先排序和优先排序 目标规划的目标函数 是所有偏差变量的加权和。值得注意的是，这个加权和都取最小值。而 di+ 和 dii- 并不一定要出现在每个不同的需求层次中。具体分析需要具体问题具体分析 下面是一个例子： 题目中说设备 B 既要求充分利用，又要求尽可能不加班，那么列出的时间计量表达式即为：min z = P3 (d3- + d3 +) 使用 + 而不是 -d3 + 的原因是：正负偏差不可能同时存在，必须有 di+di=0 （因为判定值不可能同时大于目标值和小于目标值），而前面是 min，所以只要取 + 并让 di+ 和 dii- 都为正值即可。因此，得出以下规则： 最后，给出示例和相应的解法： 问题：某企业生产 A 和 B 两种产品，需要使用 A、B、C 三种设备。下表显示了与工时和设备使用限制有关的产品利润率。问该企业应如何组织生产以实现下列目标？ (1) 力争利润目标不低于 1 500 美元； (2) 考虑到市场需求，A、B 两种产品的生产比例应尽量保持在 1：2； (3）设备 A 是贵重设备，严禁超时使用； (4）设备 C 可以适当加班，但要控制；设备 B 要求充分利用，但尽量不加班。 从重要性来看，设备 B 的重要性是设备 C 的三倍。 建立相应的目标规划模型并求解。 解：设企业生产 A、B 两种产品的件数分别为 x1、x2，并建立相应的目标计划模型： 以下为顺序求解法，利用 LINGO 求解： 1 级目标： 模型。 设置。 variable/1..2/:x;! s_con_num/1...4/:g,dplus,dminus;！所需软约束数量（g=dplus=dminus 数量）及相关参数； s_con(s_con_num);！ s_con(s_con_num,variable):c;！软约束系数； 结束集 数据。 g=1500 0 16 15. c=200 300 2 -1 4 0 0 5; 结束数据 min=dminus(1);！第一个目标函数；！对应于 min=z 的第一小部分；！ 2*x(1)+2*x(2)<12;!硬约束 @for(s_con_num(i):@sum(variable(j):c(i,j)*x(j))+dminus(i)-dplus(i)=g(i)); ！使用设置完成的数据构建软约束表达式； ！ !软约束表达式 @for(variable:@gin(x)); ！将变量约束为整数； ! 结束 此时，第一级目标的最优值为 0，第一级偏差为 0： 第二级目标： !求 dminus(1)=0，然后求解第二级目标。 模型。 设置。 变量/1..2/:x;！设置：变量/1..2/:x; ！ s_con_num/1...4/:g,dplus,dminus;！软约束数量及相关参数； s_con(s_con_num(s_con_num));！ s_con(s_con_num,variable):c;! 软约束系数; s_con(s_con_num,variable):c;！ 结束集 数据。 g=1500 0 16 15; c=200 300 2 -1 4 0 0 5; 结束数据 min=dminus(2)+dplus(2);！第二个目标函数 2*x(1)+2*x(2)<12;!硬约束 @for(s_con_num(i):@sum(variable(j):c(i,j)*x(j))+dminus(i)-dplus(i)=g(i)); ！ 软约束表达式；！ dminus(1)=0; ！第一个目标结果 @for(variable:@gin(x)); ！ 结束 此时，第二个目标的最优值为 0，偏差为 0： 第三目标 !求 dminus(2)=0，然后求解第三个目标。 模型。 设置。 变量/1..2/:x;！设置：变量/1..2/:x; ！ s_con_num/1...4/:g,dplus,dminus;！软约束数量及相关参数； s_con(s_con_num(s_con_num));！ s_con(s_con_num,variable):c;! 软约束系数; s_con(s_con_num,variable):c;！ 结束集 数据。 g=1500 0 16 15; c=200 300 2 -1 4 0 0 5; 结束数据 min=3*dminus(3)+3*dplus(3)+dminus(4);！第三个目标函数。 2*x(1)+2*x(2)<12;!硬约束 @for(s_con_num(i):@sum(variable(j):c(i,j)*x(j))+dminus(i)-dplus(i)=g(i)); ！ 软约束表达式；！ dminus(1)=0; ！第一个目标约束条件； ！ dminus(2)+dplus(2)=0; ！第二个目标约束条件 @for(variable:@gin(x));！ 结束 最终结果为 x1=2，x2=4，dplus(1)=100，最优利润为
-
开源 UnitEval - 为人工智能辅助编程和代码模型微调评估构建高质量数据集
-
数字双胞胎的数据质量控制：确保数据准确性对数字双胞胎至关重要
-
抖音的新版抓包程序，绕过sslpinning直接修改所以抓取https数据包--一般需要抓取https数据包，只需要在电脑上安装抓包工具如fiddler、charles。然后在手机上安装代理，保证手机和电脑在同一个网络上，再在手机上安装证书抓包工具，基本上就可以抓https包了。(安卓版本控制在6.0想兼容，高于6.0就不能抓https数据包了，因为谷歌在安卓N（24）及以上版本中改变了安全行为，系统默认不再信任用户app或系统自定义添加的证书）。