强大集群组网能力
宇视大数据管理系统是一个贯穿整个数据处理层面(包括数据采集、数据应用服务、数据可视化)的整体解决方案,整体方案基于Uniview DB9500(Data Base Server)数据库服务器(下文简称 DB9500)和Uniview DR9500 (Data Retrieval Server) 数据检索服务器(下文简称 DR9500)共同实现的大数据分析应用。该服务器为2U架构,采用支持负载均衡的千兆自适应网络组网。DB9500单机提供10亿数据存储与计算服务,DR9500单机提供高达10亿条信息的数据检索服务,可单机使用;不过在大数据处理应用中,同时为了配合用户不同的项目规模大小,宇视科技提供不同的大数据服务设备,充分满足不同用户的需求;在智慧城市项目规模中,百亿、千亿级数据量规模,可选用集群方案,支持满足高达千亿级数据的管理应用。
宇视大数据服务集群又分为检索服务器集群和数据库服务器集群:
检索服务器集群:提供有两台检索服务器管理节点,其中一台为主用,一台为备用,以备主用服务器出现问题时,备用服务器将无缝接管。在管理服务器的下层,则为检索运算服务器节点,负责数据检索用,检索运算服务器节点之间支持负载均衡功能,当指定服务器数据处理任务繁重时,空闲服务器将会接替部分数据的处理;同时还支持冗余灾备设计,当某台或多台检索运算服务器出现故障时,其他正常服务器将接管故障服务器的工作。由此可见,宇视科技的检索服务器集群设计了完善的冗余灾备功能,且具有很强的数据检索能力;
数据库服务器集群:主要用于数据存储和计算,与检索节点集群的设计架构一样,同样设计了两台互为冗余灾备的管理节点,多台支持冗余灾备和负载均衡的数据节点(集群)。
宇视大数据管理平台的服务器集群为分布式运算形式布建,且检索集群和数据库集群的主从式架构均支持1(管理节点): 1000(数据节点)的强大管理功能,能满足当前智能交通、平安城市的海量数据检索需求。当处理数据量小于30亿时,管理节点和数据节点将可以合并到同一台服务器中,以应对中小片区的数据管理和检索需求。
云架构+搜索引擎顶级设计
宇视科技基于DB9500/DR9500的大数据管理平台使用Hadoop技术构建数据存储集群,使得计算和存储一体化;通过搜索引擎技术实现数字、文本信息等的快速检索功能。其采用资源层、数据应用服务(含数据存储和数据计算)、业务应用三层架构,将接入的原始数据进行结构化处理,通过云存储和云计算技术支撑构建能高效、精准处理的数据库,完成数据的抽象与关联,实现数据应用服务和数据的可视化管理,从而满足不同行业业务应用需求。该大数据解决方案具有四大特点:
一是海量数据结构化存储:提供高可靠性、高容错性、高准确性、高效处理性的海量数据结构化存储解决方案,支持无缝容量扩展;
二是海量数据的高精准检索:结合Hadoop架构和安防数据特征,宇视科技创新推出时空数据库,具备比通用 Hadoop 更快的检索和计算能力,支持百亿记录的秒级高速查询;
三是海量数据分布式计算:支持批量计算、内存迭代计算、流式计算等多种分布式计算框架,结合行业数据特征的定制优化,大幅提升处理性能;
四是数据增值应用:基于基本的数据分析和检索,实现数据可视化管理、可视化检索;并由此推出全景布控、系统性/规律性综合分析、事件关联性判断、事态发展预测等上层应用,实现深层次智能管理需求。
极速优化:秒级检索,精准分析
宇视科技基于DB9500/DR9500的大数据管理平台开发了多种大数据模型,率先突破百亿数据型检,可实现案件管理、警情管理、快速车辆查询、快速车辆研判、车辆布控管理(如黑白红名单过滤、占用公交车道布控、模糊车牌布控等,支持布控时间段设定)、流量统计(可根据卡口、车道、时间等条件筛选)、积分模型等大数据应用功能,另可与回放、电视墙、数字矩阵、地图、违法处罚、告警、录像锁定等功能模块联动。适用于公安、交通、司法、能源、文教等行业的超大容量数据存储及分析业务需求,并针对不同行业提供定制化优化服务,以公安行业应用为例介绍,其在提供精确查询、布尔查询、模糊查询等多种检索模式下,植入了近实时索引、时间过滤/排序优化及其它用户个性化定制功能(如相似车牌检索、公安行业专用术语词库、多组织勾选等)。
测试所引用数据来自宇视科技丹东项目,数据容量>50亿,本次在快速车辆查询模块中执行的卡口机动车、外地机动车、区间机动车、违法等条件查询(细分筛选条件类型多样,如车速、车牌号、车色等,并可定义车牌前缀,加快检索速度),所需时间均在1s以内完成,处理速度非常快。对查询到的记录,还可进行过车处理(如车牌未能正确识别,可关联到对应图片或录像后手动修正)、关联案件、查看轨迹操作。
在平台的快速车辆研判模块中,提供有套牌、跟车关联、车辆频度、车辆轨迹碰撞、昼伏夜出、频繁夜出、高危时段、多次进城不出城、首次进城等应用分析,可解决车辆行为异常、犯罪分子踩点、违法犯罪轨迹、潜在犯罪行为、交通违规、案件侦破线索等公安刑侦大数据分析需求,以及失物寻回等民生需求。在本模块中,基于>50亿数据库,所有实操检索所需时间亦在1s以内快速完成。据介绍,该平台在丹东运行不到2年的时间里,横扫套牌不法行为,实现了0套牌管理。
除了特定类型研判,平台还提供有车辆积分模型分析功能,通过自定义积分内容及分值,当设定行为达到设定分值时,将会自动锁定目标或告警;或是便于研究员对不同积分内容在不同时间段、不同区域、不同角色等条件下的数据分析及研判,以为道路规划、交通压力、警力布控等综合城市规划建设提供有价值的参考意见。
精准而快速的检索
精准而快速的检索
精准而快速的检索
精准而快速的检索
产品特色
1、服务器集群组网能力强;
2、容量巨大,支持千亿级大数据检索;
3、极速检索:百亿级数据秒级检索,处理速度快而准;
4、功能丰富:提供有检索、研判、布控、处警等功能模块,且各模块联动性强;
5、提供大数据研判功能,深度、全局分析行为关联性、潜在危害、事件发展态势等,并可为城市建设决策提供数据参考依据;
6、行业渗透性高:所有检索及研判,有丰富的筛选条件,有效提高检索的精度和效率;
7、实用性强:针对平安城市现存问题和潜在问题开发。
专家观点
宇视科技的大数据平台充分发挥了其IT背景的技术实力,具有海量数据处理快速、检索精准、研判深入、功能丰富等特点,全局分析、管理及布控能力强,是智慧城市发展的强有力工具。
提升空间
智慧城市数据类型及应用方向复杂,该方案可在多数据应用提升价值,扩展支持各类数据的应用研判,用以满足复杂的智慧城市管理。