欢迎访问职称论文网!
科技论文

数据库信息管理系统的业务框架和各功能模块设计

功能设计的数据库信息管理系统。

根据上述业务流程,我提出了数据库信息管理系统的业务框架和各功能模块。数据库信息管理系统分为任务管理、数据提取、数据上传、数据加载、监控管理、查询统计六大模块,分别为各模块设计了以下功能。

2.1任务管理任务管理主要是指后台管理在抽取前台数据时对各个任务进行制定和执行。前台数据的抽取主要是通过执行模板文件来完成的。模板管理是整个系统的核心。创建一个模板不仅是为了界定一个数据提取的过程,也是为了确保模板的原子性,模板参数文件只针对同一数据源。模板参数文件主要由后台数据中心需要集中的数据类型定制。任务管理是将多个相关的模板文件捆绑在一起,形成更大的可执行单位。对于不同类型的数据,通过制作模板来实现抽取功能。模板数据文件由后台数据管理员制作,并存储在前台,可以添加、修改和删除。

2.1.1创建模板:一个模板文件包含一个完整的数据提取过程,包括所有必要的数据结构。数据段包括:文件开头、文件主体、文件结尾,其中文件开头具有重要的防伪标记位置、文件发送时间等信息,文件段主要包括文件传输的数据,文件结尾主要包括文件传输的总数量等信息。

2.1.2编辑模板:当数据需求发生变化时,为了适应新的需求,可以修改现有模板文件的参数。

2.1.3删除模板:当模板文件定义的数据表不再被抽取时,可删除模板文件,并取消抽取过程。

2.1.4制定固定长文件是关键,因为这个系统文件主要是固定长文件,而这个固定长文件主要是文件头,文件尾长是固定的,而每个文件的文件部分是固定的,但是一个头和一个尾对应多个文件的文件部分。

2.2数据提取数据提取模块是后台发布的提取任务的实施,是完成小核心数据处理的中心工作,是提取过程的具体实施阶段的定义,数据提取模块的主要功能包括:数据提取任务加载、数据提取配置、数据提取实施、数据提取重启

2.2.1数据提取任务的加载:数据提取是根据后台数据管理层发布的各种提取任务进行的。因此,在实施数据提取之前,应将后台管理层发布的提取任务加载到当前系统中。

2.2.2数据提取配置:为了正确完成数据提取过程的实施,我们必须首先配置数据提取的范围,首先选择相应的数据提取系统,查询系统下所有需要执行的提取任务,然后配置提取数据的每个节点,以确定数据提取的节点。

2.2.3数据提取服务:根据后台中心发布的数据提取任务,逐项提取各业务系统的数据,选择任务的流量编号开始提取服务;在数据提取过程中,根据提取的数据内容生成统计表,包括数据表的名称、记录数和其他内容,以及数据提取是否完整,以及数据提取的参考文件是否正常。

2.2.4数据提取服务重新启动:根据提取过程的统计表和日志信息,判断提取服务是否成功。如果执行不成功,任务可以通过重新启动数据提取服务来重新执行。

2.3数据上传完成后,数据文件导出保存在本地服务器中,以总结和包装所有导出文件。当数据量较大时,也可以压缩,然后存储在本地服务器中进行传输。

2.3.1本地服务器配置:包括接收IP、用户名、用户密码、上传、目录、接收目录、传输方式等数据内容。

2.3.2数据总结:根据业务系统的数据分类,总结数据导出文件,压缩包装,使用背景中心统一的命名规则,命名每个数据包,存储在文件上传的目录中,准备上传。

2.3.3数据上传:由于网络故障或上传文件损坏等原因,系统制定上传时间、上传目录、上传服务器地址、上传数据文件的工作模式主要是自动上传到仓库,可以人工干预,重新选择传输过程,完成数据提取和上传。

2.3.4对文件传输的监控:为了检查上传数据的情况,将上传日志的数据写入数据库,用户可通过应用浏览传输过程,上传成功与否。

2.4数据加载数据加载模块解压缩传输到后台中心的数据,通过数据集成功能加载到数据库,如果数据加载入库过程中出现问题,可以重新加载。确保同一记录不重复入库,不造成记录,丢失内容。

2.4.1数据解压:通过数据整合功能,将已经传输到后台中心的数据解压并加载到数据库中,如果在数据加载入库过程中出现问题,可以重新加载。确保重复入库同一记录,不造成记录,丢失内容。

2.4.2数据加载:分为人工加载和自动加载两种方式。手动加载可以通过人工干预将数据有选择地加载到仓库,也可以在数据存储过程中使用。特殊处理后,异常数据可以添加到仓库。

2.4.3数据检验:数据入库后,数据表自动生成,记录数量和其他信息的统计表,并与数据提取产生的统计表进行比较。如果两个数据不一致,则需要重新提取数据并上传到仓库。

2.5监测管理监测管理模块主要是监测系统的各个工作环节,监测和管理数据导入导出和数据传输。

2.5.1数据提取监测:通过数据提取监测,发现由于网络或人为原因而导致的数据提取和转换过程中的数据错误。

2.5.2数据传输监控:将数据上传日志写入数据库,用户可以通过应用程序浏览传输过程,找出数据上传是否成功,以及数据提取是否没有上传。

2.5.3数据加载监测:数据加载中的数据丢失和错误加载。

2.6数据完整性信息和任务执行情况主要根据一定的条件和工作要求进行查询统计查询统计。将每个模块的处理结构变成一张表格,存储在后台数据库中。


热门期刊