北京某基因测序公司海外云交付系统工作说明书

更新日期:2020-12-27  关键字:云交付,云交付系统,基因测序云交付,数据释放,基因数据上传下载,多数据中心集群

一、项目背景概述

北京XXX公司海外业务用到多个集群进行数据处理,国内有南京集群、天津集群;海外有英国集群、美国集群和新加坡集群。海外业务的客户基本全部位于海外,为了更好的交付数据给客户,让客户拥有更好的客户体验,需要把在各个集群分析好的数据,传输到离客户最近的交付节点。当前交付节点有三类,分别是:阿里云,AWS和自建FTP。 当前XXX公司海外数据交付方案还没有形成全自动化,并且没有对分期的释放数据进行状态监控,所以无法获取分期数据的客户下载状态,并基于次状态做后续的一系列处理工作。

二、项目目标

基于以上项目背景,计划通过云交付系统解决海外数据释放的全自动化处理工作。拟达到以下目标:
2.1、实现跟上游CMS系统的系统对接,以通过系统实现分期数据的自动化的任务投递。
2.2、云交付系统收到释放任务,实现对释放数据的自动上云处理。
2.3、云交付系统能够监控到分期释放数据的下载状态。
2.4、云交付系统能够实现对分期数据的各种处理状态回调给CMS,并邮件通知客户和相关销售及运营。
2.5、云交付系统跟Lims系统对接,实现结题报告传输到云跟ftp,并返回结题报告给到Lims系统。

三、系统设计-系统间逻辑交互

云交付系统需要跟上游的CMS系统进行对接,CMS会给云交付系统下发释放任务指令,云交付系统收到指令后进行存储。
云交付系统由云交付系统Server跟多个Agent节点组成。中心Server主要工作为用户账号信息,分期释放数据元信息的存储,任务状态的处理登记,以及各个Agent任务的分发调度。Agent主要实现数据的上传功能。交付系统server位于国内阿里云上(华北区),各个Agent分布部署于每个集群中,以海外云交付为例,则会在国内的南京集群,天津集群,新加坡集群,美国集群,英国集群都部署有Agent。在即一个集群中,是可以部署多个Agent节点的,以达到高效,快速的实现数据上传任务。
Agent需要跟云系统Server交换信息,获取待处理的分期释放数据任务,然后根据分期信息中的释放方式(OSS,S3,FTP)进行对应的逻辑处理,并上传数据到对应的释放目标区域。
客户从云交付系统进行登录授权,并列出权限内可以看到的分期列表。当点击下载的时候,从海外对应的阿里云,AWS或FTP上下载数据。
邮件的发送,释放数据的删除及备份的任务通过定时任务进行消费。


该项目为我们公司承接,并按时交付,如果您有类似的产品开发需求,请联系我们:13427781756(微信同号)