大数据分析手段的广泛应用，助推数据快速增长，存储形态相继经历了从传统存储到大数据存储1.0再到大数据存储2.0的变迁，以应对海量数据的挑战。1.0时代解决了海量存储的问题，通过分布式架构和软件定义，让数据能够存得下。2.0时代解决了便捷管理的问题，通过多协议访问、生命周期管理、异构存储管理、混合云管理，让企业管好数据。
存储引擎 + 智能引擎：更强大的MOS对象存储
企业耗费资本存储数据，最终是为了利用数据价值创造经济效益。存储倘若仍是一个“傻盒子”，只能存储却不能感知数据，是无法满足企业真正需要的。企业对数据价值利用的强烈诉求，驱动大数据存储步入3.0时代。这要求存储足够智能，可基于数据感知实现数据处理和智能调度，基于应用感知实现访问加速，通过存储自身的智能运维减少人力依赖。如此，才能帮助企业用好数据，以智能存储为数字底座，构建面向未来的IT基础架构。而杉岩MOS海量对象存储的智能数据处理引擎，正是承载了这一使命。
图1.海量数据增长催生存储形态变迁
从杉岩的产品战略来看，海量存储核心引擎和智能数据处理引擎，支撑起了更为强大的MOS对象存储。前者依托分布式架构、多样化管理策略以及全面的企业级特性，满足企业存储和管理海量数据的需求；后者依托开放式平台和强大的数据处理能力，并基于数据感知实现智能调度，满足智能处理数据、挖掘数据价值的需求。双引擎驱动，让MOS对象存储集海量数据存储、管理、价值挖掘于一体，无疑是企业应对大数据挑战的极佳选择。
图2：MOS双引擎驱动智能应用
智能数据处理引擎：加速智能应用，释放数据价值
数字化浪潮来袭，大数据、人工智能的发展超出预期，在各行业的落地应用也逐渐铺开，企业利用AI挖掘数据价值的需求是不言而喻的。在传统模式下，对数据库文件等结构化数据进行价值挖掘相对容易，但是对于图像、影音等非结构化数据的价值挖掘是比较困难的。
MOS的智能数据处理引擎，正是为此而生。通过对非结构化数据的多维度标签化和结构化处理，让有价值的数据更容易被发现，实现更高效的价值挖掘。有了智能数据处理引擎，数据处理能力下沉到存储内部，通过与海量存储核心引擎高效联动，并基于数据感知实现智能调度，极大地简化业务流程，提升业务效率。
图3.智能数据处理引擎工作流程
目前，智能数据处理引擎帮助许多行业客户实现了数据的高效价值挖掘，提升收益。
智能管理10亿文件，帮助广发证券打造内容管理平台
广发证券原来的档案管理往往需要业务员人眼筛查，耗时长、易出错，档案查询不够精准。采用智能数据处理引擎后，当客户电子档案存入时，通过身份证识别插件，将客户的姓名、出生年月、身份证号等信息提取出来并打上标签，后续营业厅工作人员可直接通过档案检索界面，根据标签信息进行档案的精细化检索，也可以自定义检索模板，方便高效。此外，为满足合规要求，需将合同文件（Word文档）转为PDF文档并添加水印后再存档。该项目中对相关文件设定生命周期策略，自动调用智能数据处理引擎的文档格式转换（Word转PDF）和添加水印功能，处理后的文件自动转存至目标桶，整个过程基于生命周期策略自动触发，无需人工介入，极大提升了业务效率。
图4.智能数据处理引擎对证件照片和文档的加工处理
智能存储助力质检效率提升，帮助UTAC节省20%存储空间
UTAC是全球十大芯片封测厂商之一。在其芯片封测产线上，通过工业摄像机拍摄芯片的高清图像（BMP格式，单张30MB以上）进行智能质检，每天数据增量80TB，每月文件增量1.3亿个，存储3-4个月，预计需要PB级存储空间。进一步交流得知，部分图片仅前三天需要高清格式，以便于人工复核，三天之后仅作归档和检索，或者直接删除。利用智能数据处理引擎将BMP图片转为JPG图片（单张10MB以内），并基于图片标签实现生命周期自动化管理（如图片到期自动删除，转码后归档到冷池）。该方案帮助用户节省20%存储空间，且数据处理效率相比传统方案提升了30%，总体成本降低了60%以上。
图5.智能数据处理引擎对图像文件的自动化处理
智能数据处理引擎在机器学习场景的应用
机器学习场景下，训练素材以图片为主。如果原始素材是视频文件，可以通过MOS智能数据处理引擎，在存储内部对视频进行抽帧，抽帧后产生的图片用于训练推理。如果有特殊需要，可以对抽帧图片进行二次处理或自定义标签，再用于推理训练，显著提升训练效率。
开放生态，打造强大的智能处理平台
杉岩MOS智能数据处理引擎就像应用市场一样，是一个开放式平台，可以集成丰富的第三方插件，比如合合信息的身份证识别、票据识别等插件，微模式公司的人脸识别、车辆识别等插件，用户可以按需添加插件，扩展数据处理能力。
目前，MOS智能数据处理引擎支持图片转码、图片裁剪、添加水印、身份证识别、人脸识别、车牌识别、票据识别、文档识别、语音识别、内容提取、文件格式转换等20余项处理功能，为用户提供更强大的智能处理平台，满足不同场景的数据处理需求。
智能数据处理引擎的使用有多简单？请戳视频，一睹为快
智能数据处理引擎是杉岩数据面对大数据存储发展趋势的应对方案，在海量存储和便捷管理的基础上，让存储“理解”数据，基于数据感知实现数据预处理和智能调度，简化业务流程；基于应用感知实现访问加速，快速响应业务需求；依托智能运维减少人力依赖，打造更强大的智能数字底座，构建面向未来的智能IT基础架构。
|
