软件工程中数据挖掘技术的应用
摘要：随着科学技术的高速发展，人们的生活行为、个人喜好、出行轨迹甚至个人社交都能通过一连串复杂的数据来显示。强大的数据网络对人们的工作生活及科技发展产生了重要影响。因此，如何在庞大的数据网络中找到有价值的、有需要的数据，成为了数据信息技术的一个研究方向。数据挖掘技术在一定程度上解决了这个问题。文章结合数据挖掘的内涵，分析数据挖掘技术在软件工程中的作用，提出一些应用方法，旨在对我国软件工程和科技发展提供参考。
关键词：数据挖掘；软件工程；应用分析
引言
每个数据背后都丰富的含义，不同数据之间也有着复杂的联系，不加以利用的数据只是单纯的数学符。数据挖掘技术能帮助企业更好的利用数据，进行工作计划、工作调整等。目前数据挖掘技术被广泛应用在于软件工程和科技生产当中，为人们的生产生活提供了便利。
1数据挖掘基本含义概述
数据挖掘技术是一项关于数据采集、数据选择、数据存储的科学技术，主要与现代信息技术相结合。相比于传统数据技术，数据挖掘技术更加快捷、高效和便利。虽然数据挖掘技术具有如此丰富的功能，但是受经济条件和科学水平等条件的限制，目前我国大多数企业仍然采用传统的数据信息技术，导致数据挖掘技术的应用普及度较低。传统的数据技术在数据处理过程中要花费大量的时间和人力，而且对使用人员自身素质要求很高。同时，传统数据技术的使用范围也相对狭隘。数据挖掘技术过程是一个对数据进行分析、转换和评价的过程，将“数据理解”最终转化为“商业理解”。具体挖掘过程如下图1所示：图1传统数据挖掘过程数据挖掘技术能有效提高软件工程中数据处理工作的效率，并提高准确性，减少失误的出现。对于企业来说，数据挖掘技术能帮助企业全面提高业务数据的处理水平，为企业做出决策和工作计划提供有效参考。一般的软件工程应用数据挖掘技术过程中，先针对要处理的商业问题进行大量、真实的企业商业数据资料准备，然后通过数学手段对商业数据进行数字建模，更好的进行数据理解。最后将需要处理的商业问题与建模结果相对比，得出数据评价，从而得到处理商业问题的答案。因为数字模型不受时间、空间等条件限制，且具有完整科学的数学理论作为基础，所以能保障商业数据处理的效率和正确性。为了保障数学建模的结果能应用到实际工作当中，在进行数学建模之前，工作人员可以将数据进行处理母的二次处理，提高数据结果的针对性和可行性。在我国大数据的背景下，一般的数据挖掘技术的流程更为复杂和全面，具体流程如下图2所示：
2软件工程应用数据挖掘的基本作用
（1）增强数据信息理解。每个人对于一条信息都有不同的理解，如果通过人力来进行数据采集和数据理解，不仅消耗时间、增加成本，而且问题结果受个人主观意识影响极大，不具备一定权威性。数据挖掘技术能很好的解决这一问题。数据挖掘技术在先进的科学信息技术的作为基础的条件上，针对不同数据分析目的，将数据进行科学分类和目标细化，从而提高数据结果的准确性和权威性。在软件工程应用中，数据挖掘技术将采集到的广泛、庞大的数据进行资源整合，形成完整的查询和管理体系。企业可以通过这样的管理体系，方便快速的查询到所需要的信息，增强对数据信息的理解。
（2）提升数据处理质量。随着科学技术水平的不断提高，数据挖掘技术的数据功能也越来越专业化，尤其是在数据运算速度和准确程度方面。数据挖掘技术能帮助企业进行大规模的数据计算。在短时间内，数据挖掘技术能将混乱数据和无效数据进行多次筛选和处理，保障数据处理的质量。与传统数据技术相比，数据挖掘技术在更大的程度能避免数据丢失，减少对企业的损失。
（3）提高数据利用率。数据挖掘技术能帮助软件工程企业提高数据利用率。针对混乱无序和看似无用的数据信息，数据挖掘技术从多个角度对数据重新进行分类和整理，得出数据结果。企业可以将数据结果直接应用到实际工作中，根据实践效果选择合适的数据，提高数据的利用效率。这种方法使企业可以通过数据挖掘技术获取更多的策略选择，充分利用数据作用。其次，数据挖掘技术将抽象的企业数据变成可以理解的信息资源，这种转换对企业数据分析及商业决策产生了极大的影响。不仅缩短了商业数据应用的运算时间，而且使数据变得更加真实、有效。
3数据挖掘在软件工程中的实际应用探讨
（1）挖掘结构。数据的挖掘结构能在企业软件运行、软件维护和软件优化中得到广泛应用。企业可以根据实际需要，进行数据挖掘的代码克隆，即将部分代码进行直接复制。需要注意的是，复制代码的过程要符合软件工程的规范和标准。在复制代码的基础上，企业可以对代码流程进行改进和创新，完善系统维护和运行。目前常见的克隆代码的方法有结构程序、度量程序、对比文本和标识符比较等。根据实际需求可以采用不同的代码克隆方式。
（2）项目管理。在具体的数据挖掘技术应用中，软件工程企业可以针对组织关系和版本控制数据进行数据挖掘。组织关系数据虽然相对繁琐，但有利于软件工程企业进行企业和项目的管理，梳理组织系统和组织管理，保障资源调配和应用的系统性和有效性。而版本控制数据是指数据挖掘技术中对数据进行控制和调整变化的数据部分。通过对这方面数据的应用，能更好的控制企业信息，出现混乱的流程和问题时能及时调整，提高软件运行的稳定性。根据这一特点，企业还能将数据挖掘应用到对问题进行提前预警和及时解决的过程中去，全面提高项目管理质量。
（3）开发应用。软件工程的开发应用是指针对不同项目目标，研发出符合不同用户需求的创新软件产品，是一个复杂、繁琐且应用广泛的过程。这个过程中需要大量的项目数据和项目指标作为依据。数据挖掘技术将大量的数据进行整合、分类、传递和储存后，输出高质量和高价值的数据，能帮助缩短软件开发时间，提高软件处理效率。其次，软件产品在设计与应用过程中，要根据不同的客户需求进行产品功能划分。
（4）故障检测。通过对软件产品的执行情况进行监控，数据挖掘技术能应用到软件工程产品故障检测当中。数据挖掘技术对出现问题的进行分析和检测后，帮助企业解决软件工程故障，优化产品结构和流程，保障相关工作的正常进行。除了软件产品，数据挖掘技术还能对网络客户端软件进行故障检测。通过对网络客户端软件的实时记录，帮助技术人员监控网络情况、解决软件漏洞，及时更新软件补丁。
4数据挖掘技术在软件工程中的主要应用方法
（1）关联法。关联法是指着重关注两个事物之间内在和外在联系的研究方法。根据数据挖掘技术，常被应用到数据处理和数学采集当中。关联法的使用中要体现在相关关联和有趣关联的应用。在实际应用过程中，相关人员要注意发现数据挖掘技术与软件工程之间的关系，包括数据属性中的支持度与置信度，通过关键指标之间的关系帮助数据挖掘技术与软件工程的融合。
（2）分类法。软件工程关于数据挖掘技术应用的分类法就是对于可用于分类符号预测的分类，是一种具体的执行动作。分类法在实际应用过程中，要与相应的分析基础模型相结合，而且分析模型也要有相关应用基础。分析基础模式也就是相对于分类法的建构模型。目前，在软件工程领域中，分类法的具体类型包括：决策树法、K-最临近分类法、贝叶斯法、神经网络分类法、支持向量机法等。其中决策树中很重要的一点就是选择一个属性进行分枝，因此要注意一下信息增益的计算公式，并深入理解它。其中的n代表有n个分类类别（比如假设是2类问题，那么n=2）。分别计算这2类样本在总样本中出现的概率p1和p2，这样就可以计算出未选中属性分枝前的信息熵。现在选中一个属性xi用来进行分枝，此时分枝规则是：如果xi=vx的话，将样本分到树的一个分支；如果不相等则进入另一个分支。很显然，分支中的样本很有可能包括2个类别，分别计算这2个分支的熵H1和H2,计算出分枝后的总信息熵H’=p1H1+p2H2.，则此时的信息增益H=H-H’。以信息增益为原则，把所有的属性都测试一边，选择一个使增益最大的属性作为本次分枝属性。决策树的优点：计算量简单，可解释性强，比较适合处理有缺失属性值的样本，能够处理不相关的特征；缺点：容易过拟合（后续出现了随机森林，减小了过拟合现象）。
（3）聚类法。在数据挖掘技术中，聚类法是将数据对象根据相应的要求和标准，划分成更加细致的不同种类和性质的过程。聚类法的分类原则是，相同类型或性质的信息数据之间必须仍然保持较高的相似程度，不同类型和性质的信息数据在过程中也要使差异性不变。聚类法目前在信息技术和数据处理领域中得到广泛利用。信息独立分析特点帮助软件工程进行关于商品和运行过程的欺诈检测，有效保护运行过程的安全性和有效性，提高信息结果反馈的准确率。具体的数据挖掘算法如下图3所示：除了上述的三种应用方法外，还有粗糙集法、模糊集法、遗传算法等。其中粗糙集法是一种针对数据中含义不清晰、条件不完备和目的不准确的部分进行综合处理的方法。这种方法能帮助企业在信息挖掘过程中，使信息更加简化、集中，有效建立数学模型。
5结语
数据挖掘技术在现代科技发展中发挥了重要作用。不仅能保障软件工程企业的设备运行的安全性和准确性，还能促进软件产品的优化进程，帮助更好的为客户服务。因此，企业可以在实际工作中用数据挖掘技术代替传统的信息处理技术，凭借其优异的数据处理能力和数据分析能力，降低企业科技研发成本和维护成本，保障企业的发展。
参考文献：
[1]张小军,任帅,申丹丹.浅析4G环境下数据挖掘在移动通信网络优化中的运用[J].电子技术与软件工程,2014(0
8):208-209.
[2]李涛,曾春秋,周武柏,周绮凤,郑理.大数据时代的数据挖掘——从应用的角度看大数据挖掘[J].大数据,2015,1(0
4):57-80.
[3]李艳,吕鹏,李珑.基于大数据挖掘与决策分析体系的高校图书馆个性化服务研究[J].图书情报知识,2016(0
2):60-68.
[4]阮弘毅.软件工程数据挖掘技术应用研究[J].数码世界，2018（02）：126.
[5]黄斌,许舒人,蒲卫.基于MapReduce的数据挖掘平台设计与实现[J].计算机工程与设计,2013,1
（2）：152-153.