海量非结构化数据技术在运营管理中的运用

《海量非结构化数据技术在运营管理中的运用》由会员分享，可在线阅读，更多相关《海量非结构化数据技术在运营管理中的运用（52页珍藏版）》请在文档大全上搜索。

1、海量非结构化数据处理技术在运营管理中的运用目录2银行数据全生命周期管理探讨1海量非结构化数据特点及使用2规划、设计、线上、近线、离线、下线、调阅、销毁？结构化数据是哪些，非结构化数据是哪些，如何获取？海量非结构化数据技术要点与实现3银行数据全生命周期管理-系统数据、业务数据设计阶段落实数据管理：投产前明确数据管控手段：生产数据管理备份与归档：历史数据调用分析使用：提出应用系统数据管理规范定义应用系统数据管理协议明确不同类型数据的管控手段定义控制维护使用明确各类数据的特性确定各类数据的存在环境系统及业务数据的采集方式设计各类数据的备份与恢复生产数据性能及容量管理生产数据的备份与归档数据在线、近线

2、、下线管理备份数据有效性验证与管理系统数据监控与分析业务数据的调用与登记业务数据的翻新与备份3银行数据全生命周期管理目标数据规划数据生产数据管理数据使用- 数据特性识别- 使用规划设计 - 备份需求确认- 使用周期确定- 技术手段落实-生产状态监控-运行趋势分析-整体容量管理-历史数据调阅-运营情况分析-业务创新支持数据管理- 在线生产数据监控采集- 近线查询数据归档处理- 离线归档数据备份分析- 数据分析结果综合运用-数据采集管理-数据加工处理-备份计划管理-备份操作执行 -介质归档管理-备份周期管理4 数据管理如何实现 哪些是结构化数据 哪些是非结构化数据银行各类数据的产生、分布、状态、用

3、途.基础运行产生技术相关数据业务执行产生动态与静态数据信息操作安全账务银行单笔业务的执行，引起整体架构各层面产生各类关联性数据审计安全事故故障单接入网络服务器存储规范发展变更管理虚拟化安全应用应用系统数据管理协议、日志输出标准化.7业务标识设计：为业务全程分析埋下“线索”、染色请求：请求发起端，超时、成功率连接网络转发、动态分配，后端状态转换快速转接、转换，是否有堵塞服务业务服务原子交易，速度、可靠短连接：资源共用、容量大、连接耗时，关注异常波动长连接：资源专用、效率高，关注超时及挂起状态系统间会话业务流程单系统交易业务标识：可用于故障定位、容量系数、业务分析.89银行数据生命周期管理：从源头

4、控制与实施q日志标准化l日志分类：应用系统，应将交易流水日志、系统debug日志，系统报错日志l日志分级：各类日志应设置级别控制，通过动态开关，控制日志写出的粒度l日志格式：各类应用日志，尤其是系统报错日志，应遵守统一的格式要求l日志传输：日志写出并传输的方式，应采用全行统一的传输方式q 交易报文标准化l 统一交易标识：全行统一的交易标识，在多系统中传输，便于监控和故障诊断l 报文加密策略：对中间件、应用服务器的报文加密进行统一规定9 数据管理如何实现 哪些是结构化数据 哪些是非结构化数据A Composite Web Application, Involving J2EE, Integrat

5、ion Middleware and Legacy Systems 系统名称系统名称是否含有下列内容是否含有下列内容交易流水表交易流水表交易代码交易代码交易日期交易日期交易时间交易时间交易状态交易状态分类统计分类统计图形化前端管理系统图形化前端管理系统(GTS)(GTS)有有有有有有有有有有分行号分行号理财产品销售系统（理财产品销售系统（FUNDFUND）有有有有有有有有有有有有电子支付平台（电子支付平台（EPAYEPAY）有有有有有有有有有有无无外汇买卖系统（外汇买卖系统（EXCHEXCH）有有有有有有有有有有无无动态口令集中认证管理平台动态口令集中认证管理平台(OPT)(OPT)有有有有有

6、有有有有有渠道渠道现金管理系统（现金管理系统（CaMSCaMS）有有有有有有有有有有有有手机银行（手机银行（CEMBCEMB）有有有有有有有有有有登录方式登录方式短信平台系统短信平台系统(MSG)(MSG)有有有有在同一字段内在同一字段内有有运营商运营商贵金属交易系统贵金属交易系统(GOLD)(GOLD)有有有有有有有有有有无无核心业务系统（核心业务系统（ECASECAS）有有有有有有有有有有业务种类业务种类Call-CenterCall-Center系统系统(CCS)(CCS)有有有有有有有有有有交易种类交易种类总行大前置系统（总行大前置系统（EBIPEBIP）前置二期监控实施中前置二期监控

7、实施中总行中间业务平台（总行中间业务平台（EBMPEBMP）有有有有有有有有有有无无新网络银行系统（新网络银行系统（NBANKNBANK）有有有有有有有有有有交易渠道交易渠道基金托管系统基金托管系统(FTS)(FTS)有有有有有有有有有有有有第三方存管系统第三方存管系统(IFTS)(IFTS)有有有有有有有有有有交易渠道交易渠道企业年金系统（企业年金系统（EPAMSEPAMS）有有有有有有有有改造后有改造后有交易渠道交易渠道客户信息统一管理系统客户信息统一管理系统(ECIF)(ECIF)有有有有有有有有有有无无信贷风险流程管理系统（信贷风险流程管理系统（CECMCECM）有有有有有有无无有有无

8、无市场风险管理系统市场风险管理系统(SUMMIT)(SUMMIT)有有有有有有有有有有无无结构化数据及其采集使用：交易流水. 数据管理如何实现 哪些是结构化数据 哪些是非结构化数据非结构化数据：运行产生的各类日志【静态】运行过程中产生的各类日志为非结构化特性数据输入日志的结构化程度很低日志的字段标示等非标准化跨日志关联性高，但搜索线索难以自动化日志生成的形式多种多样（文件名不定）难以采集、归档、查询非标准日志难以定期清理难以保证日志的完整性难以做上下文关联分析网络端口监听所有端口TCP/UDPsyslog, SNMP, IMAP, POP3, JMS计算机文件监测运行的文件批量上传文件网络，应

9、用，服务器和设备日志自定义脚本与APIs 可设定测试 WMI, perfmon, AD, LDAP, SQL/DBI, OPSEC, LEA, JMX, VMware, Powershell文件系统 监测系统的变化 配置 密码文件 关键性脚本与代码13q XX系统应用协议分析： WTC+SOP是基本结构，SOP内还封装其他协议 封装XML、封装|分隔的key-value pair非结构化数据：运行产生的网络报文【动态】生产环境中的各类数据的关联性、多样性、复杂性目录16银行数据全生命周期管理探讨1海量非结构化数据特点及使用2动态数据、静态数据、结构化、非结构化、多层分布、逻辑相关运行监控、趋势

10、分析、容量管理、数据归档、查询统计、运营分析海量非结构化数据技术要点与实现3 数据分类及采集 日志类采集及使用 报文类采集及使用根据不同类型数据的特点，采取不同的技术手段l利用利用Hadoop、Storm等主流大数据技术，采等主流大数据技术，采集归档并分析海量非结集归档并分析海量非结构化日志，可完成跨层构化日志，可完成跨层面跨节点的多维度查询面跨节点的多维度查询与分析；与分析；l网络报文为动态瞬时存在数据，采集、解读、处理难度大，但数据为强客观性，分析与利用价值高；网络交易报文l利用GoldenGate等数据库同步技术采集结构化数据，实现离线状态下实时交易性能分析；非结构化日志离线交易流水监控

11、预警运营分析业务支持18网络交易报文采集u 交易协议标准、规范u 协议非加密u 网络镜像流量获取方便u 网络节点间交易监控 应用交易日志采集u 交易日志保存在文本文件中u 日志格式标准、规范u 对交易日志有归档查询、故障诊断分析的需求交易流水镜像采集u 交易流水内容丰富u 交易流水信息保存在数据库中 u交易流水表以Inset操作为主采集方式采集方式适用场景适用场景根据不同类型数据的特点，采取不同的技术手段19 数据分类及采集 日志类采集及使用 报文类采集及使用日志类数据采集：生产日志分析与监控的需求日志类数据采集：日志关键字分析使用样例日志类数据采集：非结构数据结构化的使用 数据分类及采集 日