联系我们:010-88559646

  老师群

170086145

  学生群

179326524

209318323

215410234

客服电话:010-88559646

Intelligent QA SystemDesign And Development

时间:2017-03-22        来 源:中国软件杯

Topic: Intelligent QA SystemDesign And DevelopmentGroup A: Undergraduates or above
Topic introduction:Explaining the whole idea and requirements of the topic

An intelligent customer service system, based on massiveknowledge processing, is oriented to industry application and is adaptive totechnical industries of massive knowledge processing, natural languageunderstanding, knowledge management, automatic QA systems, reasoning, etc. 

With automatic QA systems, we aim at developing an intelligentQA system, which is used for extracting knowledge based on given documents andautomatically generating QA knowledge bases, and has basic capabilities(front-end and back-end functionality) of exiting QA systems.


Topic scenarios: Describing the business scenarios of related real companies, and simplifyingor extracting proper competition scenariosfrom the real ones

Knowledge bases constitute the key competitiveness of intelligent customerservice/intelligent QA systems, and the establishment of high-quality knowledgebases is one of problems the industry faces. At present, most knowledge bases(QA pairs) of intelligent customer services are established manually, and agreat amount of manpower is required for establishing a perfect knowledge base,therefore, there is an urgent need of an automation solution for establishingknowledge bases (QA pairs) automatically according to given documents (such asproduct manuals, case documents and user guides).

Functional requirements

The intelligent QA system design involves three main function modules offront-end, back-end and knowledge base establishment, wherein the front-end isused for providing a QA operating interface; the back-end implements productdocumentation, knowledge base management and communications with the front-end;through knowledge base establishment, “QA pairs” are automatically generatedaccording to input documents.

  1. The back-end: Design a program for extracting high-quality QA pairs fromdocuments as many as possible, wherein the questions can include subjects, keywords and phrases, and answers can be directly formed by one paragraph orsentence.

  2. Documents:being in the format of html, having about 5w words, and including user guides,common questions, and product manuals.

  3. Formatof QApairs in knowledge bases

       Q: How is the price of elasticcloud servers calculated?

       A: There are two manners including charging as required andpack-years or pack-months, and you can select the proper one according to concreteneeds.

       Q: ……

       A: ……

  1. Knowledgebase management: implementing operating functions of deleting, increasing andinquiring basis QA pairs. 

  2. The front-end: Design a program implementing a QA dialogue interface, which, according to users’ questions, is connected with the back-end automatically and searches answers fromthe knowledge bases, and shows theanswers to users, wherein the front-end questions can include subjects, keywords and phrases.

  3. Knowledge base management: Design a program which is used for automatically generating “QA pairs”according to input documents and ensures higher question quality and moreaccurate answers when extracting QA pairs as many as possible, wherein QA pairsin knowledge bases cannot have the same two questions. This part, as the inspectioncore of the topic, aims at checking the accuracy of knowledge bases (see taskeva luation indexes). Implementation methods are unlimited, and the followingthree are available to competitors:

  4. Rule-based QA pairsgeneration;

  5. NLP-based QA pairsgeneration; and

  6. Machinelearning/deep learning-based QA pairs generation.

Note: For NLP-based QA pairs generation, competitors can take thefollowing technical points into account:

  1. Document structuretree, and subjects/paragraphs/sentence splitting;

  2. Extraction ofentities, key words and semantic characteristics;  

  3. Analysis of sentencestructures including appositive structures and structures of modifying nounswith verbs, as well as parse of sentential forms;

  4. Abstract extractionand sentence compression and combination;

  5. Question patternclassification; 

  6. Question generation(semantic template, ML generation and deep learning);

  7. Questions generalization:replacing key words;

  8. Syntacticaltransformation: converting declarative sentences into interrogative sentencesthrough WH movement, subject-predicate inversion,etc.;

  9. Analysis of question semanticcompleteness; and

10.Text readingcomprehension models.


Non-functional requirements

  1. 1.The whole system has quicker responses, and the front-end and back-endcan work smoothly.

  2. 2.UI design conforms to conventional habits of users.

    3.Complete descriptions of documents such as system design documents aswell as knowledge base establishment core rules or algorithms design documentsare provided.


Other restrictions:Development environment, test platform, development language, database,complier, etc. (as explicit as possible)

1.For machine learningor deep learning method of knowledge base establishment, Hauwei Cloud machinelearning or deep learning is recommended. Aiming at providing convenience tocompetitors, Hauwei Enterprise Cloud will provide competitors with high-performancemachine learning or deep learning cloud environment.

http://www.huaweicloud.com/

2.The front-end and back-end adopt the pattern of server and mobile terminal,wherein the server can be Web server, and the mobile terminal can be Android or IOS APP.

Test data or platform: Testenvironment and data provided to competitors (electronic documents areacceptable)
  1. Test data and platform:

  2. Original productdocuments required by development and test and supporting QA pairs for verificationare provided (test data is available at the beginning of March, 2018).

  3. Competitors canadjust and optimize models through other data trainings.

  4. Task eva luationindexes:

  5. Basic front-end andback-end functionality implementation and documentation: 50%

  6. Knowledge baseestablishment: 50%

For eva luation, another group of N test documents and several

alternative QA pairs are used for testing knowledge base

establishment, and main eva luation standards are as follows:

  1. Hit QA pairs: scoresaccording to questions extracted from complete matching hit QA pairs/programsin given question-answer sets, accounting for 70%.

     b.  Answer accuracy: scores of BLUE index based on answer reasonability withabsence of matching questions, accounting for 30%.


Instructions aboutdevelopment equipment and equipment metrics

No
Other requirementsNo


主办单位

工业和信息化部

教育部

江苏省人民政府

承办单位

中国电子信息产业发展研究院

江苏省工业和信息化厅

江苏省教育厅

教育部高等学校计算机类专业教学指导委员会

信息技术新工科产学研联盟

执行单位

中国信息化周报

南京江北新区产业技术研创园

江苏软件产业人才发展基金会

南京市软件和信息服务集群发展促进机构

南京航空航天大学

关于我们

客服电话:010-88559646

邮编:100048

联系地址:北京市海淀区紫竹院路66号赛迪大厦18层

网站备案/许可证号:京ICP备05039896号-10     京公网安备 11010802020860号