田湾核电站基于Elasticsearch的创新型数据应用研究与实践

2021

年

2

月第卷第

24

2

期

电力大数据

POWERSYSTEMS

AND

BIG

DATA

大数据专题

Big24

Data2

SpecialVol

Reports

Feb.

2021 No.

,

,

田湾核电站基于

Elasticsearch

的创新型数据

应用研究与实践

杨强

()

江苏核电有限公司

，

江苏连云港

222000

摘

要

:针对难以在海量数据中快速定位目标数据的问题田湾核电站对

，

Elasticsearch

这一搜索引擎技术进行研

究

,通过微服务架构设计模式和前后端分离的开发技术建立起三项具体数据应用

，

解决了数据索引和数据定位的问

题

，

提升了工作效率

& 智能客服机器人平台建立起具备自动应答功能的在线服务平台在线提供高效的

II

，

服务

，

提升

I

服务质量智能化主数据检索平台将各类主数据资源统一汇总，

；

实现在主数据层面的快速数据查找

；

集中系

统日志检索分析平台实现对全部日志分析和展示看板

Web应用的日志收集日志存储

、、本文

,

提升应用管理效率

&

通过对搜索技术的研究

，

实现简单便捷的数据查询利用

，

为更多基于搜索技术的多数据应用场景提供参考

&

关键词

：

搜索引擎搜索技术数据定位数据查询

;;;;

日志

文章编号文献标志码

：

2096-0041

-4633

()

2021-06

02C39

中图分类号

：

：

B

大数据技术在核电领域的应用是大势所趋

。

大

数据开发应用在国家与社会发展中具有重要战略意

SpringBoot

的快速开发

Java

组件

，

前端和后端的通

信采用

Restful

风格的服务接口

，

在安装部署上采用

简单

jar

包形式

，

减少不必要的运维成本

。大

这种应用

义

。

目前国内核电相关单位积极开展人工智能

、

数据在核电领域的应用研究

,

并制定了相应的发展

规划

。

内容涵盖了对大数据的采集

、、、建

清洗

转换

模式可以有效减少后续项目上的开发成本

，

大大节

约应用系统从需求提出

、

设计到实施上线的

时间

[7_12]

#

模

、

分析等维度

。

全文搜索和智能搜索作为广受欢

迎的搜索方式也在大数据技术的范畴之内

，

工作人

员将搜索技术纳入到工作计划中

。

搜索技术是解决数据获取的最为有效的措施

,

能够将后端大量的数据以更为用户所接受的方式快

2

应用核电

1

—

I

智能客服机器人平台

2.1

I

智能客服机器人平台的背景及需求

I

服务台

(

ServiceDesk

)

是连接用户和信息部

捷主动地提供给用户

。

在数据获取上开发大数据价

值利用挖掘和传播的渠道

，

对于传递数据的价值有

门的交换平台

，

协调用户与信息管理部门之间的关

系

，

为

I

服务的稳定运作提供一线支持

。

对用户而

言

,

服务台是与信息中心的唯一联络点

,

服务台参照

着最直接的意义

。

因此

，

数据工作人员有必要充分

探索数据中蕴含的价值挖掘方式

[1-3]

#

服务目录预先定义的服务范围确保用户的服务请求

1

创新性数据应用开发模式

在数据应用的具体落地上

，

采用当今最流行的

及故障申告得到快速有效的解决

。

服务台接受用户

提交的服务请求及故障申报

，

并在承诺的响应时间内

给予回复

;

对复杂事件

、、

疑难问题进行跟踪

、

分析

解

微服务架构模式

，

每个服务运行在其独立的进程中

,决

，

如果需要

，

将协调二线支持团队进行彻底解决

。

服务与服务间采用轻量级的通信机制互相沟通

。

每

个服务都围绕着具体业务进行构建

，

并且能够被独

立的部署到生产环境

、

类生产环境等

。

能够应对用

服务台作为信息技术服务领域用户与信息部门

的单一联系点

,

需要协调客户和信息中心间的关系

，

为用户使用从而提高用户的

I

服务提供技术支持

，

电力大数据

第

24

卷

种模式尽管直接

,

但是可能存在问题描述不清

、

沟通

成本高的问题

，，

例如客服在解决某个问题时往往需

要用户提供额外信息

，

一通电话会持续较长时间

。

—

般一个客服每天能完成

60

-

80

个电话的接线

,

服

员工信息、常见问

务效率较低

,

而且客服人力成本高

。

大部分客服问题其实是高频重复问题

,

这些问题

往往都有标准的答案

,

每次重复复制粘贴相同的答案

不能产生新的这可以利用机器去解决客户端版可通过双击电脑桌面的智能客

,

可以构建一套

智能问答系统去自动回答用户的提问

,

当用户对答案

不满意时

，。

他可以再寻求人工客服的帮助

在这种机

器自动问答和人工客服辅助的模式下

,

大部分客服问

题可以通过机器解决了

,

只有少部分机器解决不了的

复杂问题才会由人工客服来解决

，

这不仅提升了用户

，

体验也提高了服务台客服人员的人效

。

因此

，

有必要通过智能客服系统来减少重复性

问题给服务台带来的重复性工作

，

提升服务台工作

人员的工作效率

。

2.2

I

智能客服机器人平台的设计与实现

核电厂

I

智能客服机器人平台实现

I

服务台

及运维工作的自助式精确应答及自动业务处理

，

实

现虚拟机器人的智能在线咨询服务

，

有效提升用户

体验满意度

。

智能客服机器人平台分为四个层次

,

主要为源系统层

、、

数据加工层

、

业务处理层

接入层

。

智能客服系统将涵盖公司主要的信息系统

;

在数据

层

，

通过自动化的转换和任务调度

,

能够将数据根据

要求的格式自动进行转换处理

,

方便业务层的使用

;

在业务层

,

实现对机器人相关功能的管理

,

包括基础

管理数据

、

座席业务支撑以及知识库

、

统计报表的功

能

。

在接入层

,

实现了在线的

web

接入和

PC

桌面

端的应用接入

。

平台的分层架构图如图

1

所示

。

图

1

平台分层架构图

Fig.

1

of

Architecturediaeram

platform

layered

2.3

I

智能客服系统的应用效果

通过该智能客服系统

，

充分发挥通过信息技术

-

42

-

手段全方位提升服务质量的价值

;

能够以用户为中

心

帮助用户更好更快地解决问题

，

最终打造一个贴

近用户

、

便捷

、

智能的服务平台

。

目前

I

智能客服

系统实现了常用表单

、

管理程序

、

题解答

、

系统操作手册

、

KKS

设备数据

、

物资基础数

据的在线获取

。

I

智能客服系统有网页版和客户

端版

，

网页版可通过点击信息门户右侧的智能客服

图标进入

，

服图标进入

。

在图

2

的客服机器人的实际应答效果

示意图中

，

根据用户的问题输入给出可能相似的问

题和解答

，

用户也可以点击对话框右侧的常用问题

链接直接获取答案

。

对设备数据

，

用户只需要输入

KKS

编码

即可

得到改设备的安装位置

、、

设备级别

、

数据状态

设备

层级

、

临时数据识别、

安全等级

、

质保等级等主要的

特征数据

，

用户可以直接点击链接查看关于设备的

详细信息

。

相比较用户以往在

SAP

第期

2

杨强田湾核电站基于

，

Elasticsearch

的创新型数据应用研究与实践

3

应用

2

—

智能化主数据检索平台

3.1

智能化主数据检索平台的背景及需求

数据作为当今主要的资产

,

主数据是电厂数据

下面展示包括该字符的数条数据

管理对象的主要类别

。

功能位置主数据是基于核电

厂初始设计要求而定义并描述电厂所有功能位置属

性及功能要求等信息数据

。

包括构建筑物

、

厂房

、

系

统及设备的功能位置等

。

物料主数据是基于核电厂

物资实体而定义并描述的物资固有特征及属性的数

据信息

。

包括备品备件

、

消耗性材料

、

辐射防护用

品

、

劳保用品等

。

这两类主数据均有着较多的属性

值示符合该查询字符的数据

，

往往用户需要对相关数据有重复的了解才能找

，

到相应的数据

。

随着系统的增多

,

对数据的查询需要跨越综合

多个信息系统

，

缺少统一的数据查询入口

。

用户需

通过零星或部分数据进行搜索

,

需要更为智能的数

据推荐功能

。

因此

，

有必要开展智能化的主数据检

索平台的建设

。

3.2

智能化主数据检索平台的设计与实现

考虑到主数据检索本质上仍是对文本字段的相

似性检索，

因此

，

我们仍采用

ES

作为搜索服务器

,

利用

ES

已经具备的检索

、

分词等服务来提供

API

给到前端业务功能调用,

快捷实现我们需要的效果

。

在设计上

,

智能化主数据检索平台分为前端展

现层

、、

控制层

、

业务层

数据层

、

搜索服务层

，

对于业

务系统自身的数据存取采用的是

Spring

Data

JPA

,

对于搜索的数据采用

ES

搜索服务器提供的自带

API

服务

，

在用户权限控制上采用公司统一的集中

用户管理

、

集中权限管理等技术组件接入

。

核心功

能由自开发实现：

。

平台的分层架构图如图

3

所示

使用

springboot

框衆•建的

maven

项目

前

震

需

业

I

嘉

务

B

(

展

层

屠

示

(

真

检

体

I

接

g

收

请

窠

前

求

嬖

及

鬻

«

t

畀

«

集

畀

)

一

图

3

平台分层架构图

Fig.

3

of

Architecturediagram

platform

layered

3.3

智能化主数据检索平台的应用效果

智能主数据系统提供类似于百度搜索的样式

,

提供搜索输入框

，

用户在边输入时会获得系统提供

的实时推荐

。

系统实现根据物资主数据进行快捷推

荐查询操作

,,

下拉列表选择物资主数据

输入某个字

符

,

,

进行查询

,

展

示符合该查询字符的物资的图片

，

物资编码

,

名称

,

规格

，

型号

，，

安全等级

，

质保等级

采购在途数量

,

BOM

码

,

在查询到物资信息中包含查询字符的字段

中

，

对该查询字符进行标红

，。

并实现分页功能

同

时

，

系统实现根据功能位置主数据进行快捷推荐查

询操作

, 下拉列表选择功能位置主数据,

输入某个字

符

,

下面展示包括该字符的数条数据

,

进行查询

,

展

,

KKS

编码

中文名称

，安

装位置

，

功能维护责任处室

,

设备层级

，

设备关键度

分级，

规格型号

,

设备责任专业

,

设备责任班组

,

电力大数据

第

24

卷

《

信息系统安全等级保护基本要求

》

(

GB/T22239

-

2008GB/T

)

《

信息系统安全等级保护定级指南

》

(

22240

-2008

)后

《

信息系统安全等级保护体系框架

》

(

GA/T

-2007

708

)

等相关标准规范对等级保护二

级系统日志管理和安全审计的管理要求

，

企业需要

建立集中日志系统

，

收集相关日志

，

且具有足够的保

管期限

。

另一方面

,

企业的运维人员面临日志的问题也

越来越突出

。

例如

，

由于日志没有集中处理

,

需要运

维人员登陆每一台服务器并使用脚本命令或程序查

看

;

数据是孤立分散的

，

无法进行关联

，

无法提取出

其中的共性

，

只能做简单搜索和统计

，

无法满足分析

的要求

;

磁盘满了需要删除日志

、

黑客有可能删除日

志并且抹除入侵痕迹

；

日志只做事后追查

、

没有实时

监控与分析

;

常规的日子管理软件一般使用数据库

存储日志

，

无法适应

TB

级海量日志数据库的

，

schema

设计无法适应千变万化的日志格式

，

同时无

法提供全文检索功能

。

随着新技术的广泛应用

,

企业的运维人员对新

时期的日志平台提出了更高的要求

。

例如

,

需要其

能够支持非结构化存储

，，

能处理所有机器数据

能适

应各种日志格式

，

而无需对原有日志进行改造

;

海量

的日志只需几秒就能搜索出结果

；

日志从产生到搜

索分析出结果只有几秒的延时

;

实时大数据

、

无缝横

向扩展

、

丰富对外接口

；

因此

，

有必要采用开源软件

，

自主搭建一套满足实际应用需求的日志监控平台

。

4.2

集中系统日志检索分析平台的设计与实现

目前互联网上主流的日志分析软件为

elk

。

ELK

由

Elasticsearch

(

弹性搜索

)

、

Logstash

(

日志事

件采集

)

、

Kibana

(

统计展示

)

三个开源免费工具

组成

。

Logstash

起到的是数据抓取作用

，

它将日志解

析为

json

输出给

ES

，

ES

是实时日志分析服务的核

心存储技术

，

本项目也是利用其强大的搜索和统计

功能

。

Kibana

是基于

ES

的数据可视化组件

。

Logstash

能够在以配置的形式

，

将需要抓取的日

志文件存储到

ES

中

。

配置文件中在

input

段内添加

日志文件的路径

，

可以监视多个日志文件

;

在

output

段内配置

ES

服务器地址及端口

，

也可以配置多个

ES

服务器

。

另一个重要的配置文件是

Logstash

的启动

脚本

,

该脚本中配置了监听文件的路径

。

Logstash

的

配置可以以

gck

过滤的方式将字段进行抽取

，

便于

-

44

-

后续的分析与应用

。

例如对于

10.10.

10.

10-2000000

这段日志可以用

％

,,:

IEORHOSTUSER

:

client_ip

-

-%

ident

-

来表示

,

在存储至

U

elasticsearch

,

elasticsearch

会将其按照结构化字段进行存储

,

对应的

client_ip

会

赋值为

10.10.

10

10.2000000

,

ident

会赋值为

。

Kibana

是基于

ES

的

，

所以支持强大的

Lucene

Query

Shing

语法

，

同样还能用上的过滤器能力

ES

。

Kibana

还拥有丰富的仪表盘空间

,

诸如各类图

、

表

、

地图等

。

Kibana

提供给用户自主分析数据和展示

数据的能力

。

用户可以不经复杂的培训即可上手使

用该工作定制出符合自己实际需求的

Dashboard

o

根据上述的介绍

，

图

5

展示了各层的组件分布

和承担的功能

。

图

5

ELK

平台分层架构图

Fiy.ELK

diaftm

5

of

Platform

layered

architecture

4.3

集中系统日志检索分析平台的应用效果

在系统上线之后

，

以极小的成本完成了对全部

Web

应用的日志收集

、

日志存储

、

日志分析

。

基础

架构运维人员和应用系统管理人员通过对日志监控

平台的使用

，

能够掌握各个应用系统的访问情况和

对系统上的用户行为进行有针对性的审计或干预

。

第

2

期

杨强的创新型数据应用研究与实践

，

田湾核电站基于

Elasticsearch

Kibana

上可以按照需求自己定义显示的组件

,

例如下图

7

能够直接看到特定用户访问的历史地址

记录

，

不需要编程和其他介入

,

而且可以按照时间勾

画出用户在信息系统上的使用画像

。

图

7

用户行为记录示意图

Fig-

Userbehaviorrecord

7

diayram

通过简单的拖拖拽拽

，

既可以查看请求页面的

TOP10

,

可以快速根据用户点击的热点有针对性的

优化信息系统

。

5

总结与展望

江苏核电在大数据技术研究与探索中积极应用

搜索引擎技术

，并与其他功能

融合多数据源的数据

,

性应用进行集成

,

实现对数据的查询统一入口

，

避免

用户在业务系统中进行复杂的数据搜索

。

基于搜索

引擎技术的快速数据查找和推荐服务

，

减少用户为

增加搜索功能而增加大量技术代码实现的工作量

。

通过使用自然语言技术提供更为准确的分词和索

弓

I,-

提高搜索的准确性

[

I3

I6

]

O

Elasticsexrch

提供的技术特性很好地满足了大

数据条件下企业对数据进行快速检索利用的需求

,

而且

Elasticsexrch

提供的技术接口能够较好地融合

到现有的开发架构中去

。

相信通过对

Elasticsexrch

的研究

，

可以实现简单

、

快捷的数据查询利用

，

从而

在未来的大数据的技术应用中创造更多可以为用户

提供数据利用价值的应用场景

。

参考文献

：

$

1

%

DEQUAN

CHENal.

,,,

YIN.

CHEN

BRIN

BROWNLOW

et

Real-timeinto

os

neas

mal-Tme

persisyng

daily

healthcoredata

HDFSadata

J

and

ElasticSearchbig

index .

insideplayorm

$

%

IEEE

02

Transactions2017

Informatics

on

Industrial

,,

13

))

：

595

-606.

$

2BI querg

% )

CHAO

MA

,,

ZHANG.recommendationmethod

A

new 2019

supportingon

exploratom

searchsearchshift

basedgraphs

goal

$

J

IEEE

%

.

TransactionsData

on

KnowledgeEngineering

and

,

2018

,)

302024

)

11

：

-2036.

$

3CHEN.

%

ZHIUANSHAOWEN

ZHOU

,,

XIANG

TSONG

YUEH

Metamorphic

teshng

fosassessment

soywam

quality

：

astudy

of

searchJEngineering

enginesonSoyware

$

%

.

IEEE

Transactions

,

201603

,

42

)

)

：

264-284.

$

4

%

YE

ZHANG

CHEN

,,,

YIQUNsatisfaction

LI

MI

et

al.Uses

prediction

with

mousemovement

informationheteroveneous

in

searchenvironment

$

J%

.

IEEE

TransactionsData

on

Knowledge

and

Engin''eing-2483.

,

2017

,)

29

)

11

：

2470

$

5CAI,et

%

YUSEN

LIWENTONGResource

,,

XUEYAN

TANG

al.­

efficientscale

engines

indexshard

.

replicationin

J

large

search

$

%

IEEE

on

Transactions

Parallel

and

Distribuid

Systems

,

2019,30

)

12

)

：

2820

-2835.

$

,,

6 BHATI

%,

SUPPAWONGSUMI

TUAROB

PRASENJIE

MITRA

et

al.

AlgorithmSecs

:

asystem

fos

extracting

and

searching

fos

algorithms

in

scholarly

big

data

$

J Big

IEEE

%

.

on

Data,

201601

,

2

)

)

：

3

-17.

$

7

%

刘帝勇

，

杨强•基于机器学习的核电文档个性化推荐系统研究

$

J22

%

•电力大数据

,,)

201909

)

：

43

-48.

LU

Diyong

,

YANG

Qiang.

Researchpowes

on

nucleas

document

personalizedrecommendation

system

based

on

machine

leaming

$

J and09

%

.

Powes

Data

SystemsBig2019

22

,,)

)

：

43

-48.

$

8

%

徐霞军任增朋

，，

,

秦绪涛等•核电企业面向开放架构的大数据

平台的研究与应用

$

J

%,

.

电力大数据

,)

2018

21

)

10

：

1

-6.

XUal.

ZengpengXutac

XCun

,,,

REN

QINResearch

etand

applicationnucleas

fos

ofof

big

data

plaOorm

open

architecture

powes and201821

enterprises

$

J

%

.

Powes

Systems

Big

Data

,

,

)

10

)

：

1

-6.

$

9

%

章园园

，

秦岭•面向物联网搜索技术的高效访问控制方案

$

J

%

.

计算机科学

,

2019

,)

46

)

08

：

194

-

200.

ZHANGcontrol

YuanyuanQI scheme

,

Ling.

Efficient

access

fos

internet

ofsearch2019

thingsComputes

technology

$

J

%,

.

Science

,

46

)

08

)

:

194

-200.

$

10

%

张炜董晓莉•新技术环境下图书馆搜索系统发展思考

,

$

J

%

.

图

书馆杂志

,

2019

,

38

(

07

)

：

25-31.

ZHANGWeiThe

,

DONG

Xiaoll.developmentof

libras

'

s

search

system

Journal

inthe

newenvironment

technolovy

$

J%Libras

.

,

2019

,:

)

38

07

)

25

-31.

$

11

%

寇菲菲

，

杜军平石岩松

,，

等•面向搜索的微博短文本语义建模

方法

$%

,)

J

•计算机学报

,

2020

43

)

05

：

781

-795.

KOUDUSHIal.Microblov

short

FeOelet

,,,

Junping

Yansong

text

modeling meOod

semantic

Chinese

fosJournal

searchJof

$

%

.

Computers

,,:

202043

781

)

)

05

-

795.

$

12

%

沙阳阳的

，

电力大数据

personalized

customization

and

cross

language

search

technology

第

24

卷

Intelligent 11(06)

Systems

,,

2016

-

:

777

787.

$,,

()

J

%

.

Computesand 149

Applicagons 35

Software

2018

09

:

-

152.

$%

14

付聪

，

余敦辉

!

张灵莉•面向中文敏感词变形体的识别方法研

究

$

J

%

(

•计算机应用研究

,,

2019

36

04

)

(

988

-991.

FU

Congidentification2015

,,,,

YUStudy 3287

Dunhui

ZHANGReseaech

Lingli.

on32

method Chinese

change

for

form

of

sensitiveJ

words

.

$

%

Application

R's'aech36

ooCompuies

,,

2019

(

04988

)

:

-991.

$

15

%

石磊

，

杜军平

,

周亦鹏

，

等•在线社交网络挖掘与搜索技术研究

$

J

%

•智能系统学报

,(

2016

,

11

06

)

(

777

-787.

SHIDUal.A

LeiJunpingononline

,,,

ZHOUYipeng

et

survey

socialJ

network

miningsearch

and on

$

%

.

CAAITransactions

$

16

%,

肖雨

，

崔荣一

怀丽波.一种融合位置信息的字符串相似度度

量方法

$

)

J

%

,

.计算机应用研究

2015

,

32

(

11

：

3287

-3290.

XIO method

YuCUIRongyi

,,

HUAI

Libo.

New

for

calculating

string

simOarOy

fusing

location

information

$

J

%

.

Application

ooCompuiees

()

11

:

-3290.

作者简介

:

杨强

（，

1988高级工程师

）

,

男

硕士

，

，

主要从事核电厂

信息建设研究与数据应用等方面的工作

&

Innovative

elasticsearch

-

based

data

application

research

and

practice

at

Tianwan

nuclear

power

station

YANG

Qiang

(,

Jiangsu

NuclearCo. 222000China)

Power,

Ltd.

Lianyungang

Jiangsu,

Abstrach

:In

,

responselocatingpowerstation

toquicklyinamounts

dOficulty Tianwan

thedata

ofof

targetdatanuclear

massive

investigatesengine

elasticsearchaand

,,

searchpattern

technologythe

through

micro-servicedevelopment

architecture

design

the

technologythree,

ofandsolveof

front-end

back-end

separationapplications

,

concreteare

dataproblems

establishedwhichdata

the

indextherobot

anddataandimproveworkan

locationserviceonline

,

/ficienco.

The

I

inHigent

customer

plaWormestablishes

serviceplaWorm

with improves

automaticresponsethe

function

,

provides

e/icient,

I

services

onlinequalityservicesthe

and

of

I

；

intelligentinmanner

mastermasterresources

level

datadata

retrieraiwrious a

platform

aggregatestodata

unOied

achieve

themainFast

data；andanalysis

search loglog and

,,

centralizedstorageboard

system

retriewi for

log

analysislogdisplay

plaWormcoCection

realizes

age/icienco.

web

applications,a

improving

application

management

This

multi-data

paper

proviOes

referenceapplication

for

more

scenariostechnologythetechnologytheanddata

basedand

onsimple

search

through

study

ofofconvenient

search

realisation

queo

utilisation.

Keywords

:searchsearchqueo

engine

；；

positioning

technology

；data

data；

log

46