聚焦主题业务系统建设,支持数字化转型
提供云原生架构解决规划
以数据中台为主题的数据全性命周期产品
覆盖智能风控、远程视频银行等场景化产品
通过盛开银行等延长互联网金融产品
覆盖信贷全流程,助力普惠金融
提供信誉风险与本钱计量产品
聚焦监管合规,强化金融系统安全性
散布式主题系统国产适配,构建金融安全底座
全栈式信创云平台,驱动多行业自主可控
云原生+AI驱动,全栈式火速部署与智能运维
量子密钥分发技术,构建金融级安全通讯网络
数字技术赋能农业产融,构建智慧村落生态
大数据风控+线上化服务,破解幼微融资难题
区块链+AIoT技术整合,优化产融协同效能
智能合约+多载体支付,拓展消费场景
面向银行11大领域32个征询产品
数字化战术、经营造模、零售与绿色信贷征询
科技战术与系统群架构及治理研发规划等
企业整体战术导向全局数据治理与利用规划
萦绕项目进行全性命周期管控与专家赋能
3-5年信创工作整体规划造订
泛行业AI数智化解决规划
散布式架构+智能运维平台,全性命周期IT治理
丰硕的IT治理解决规划,保险业务陆续性
科研知识产权规划,提升全性命周期治理能力
工业智能体+物联网优化出产,打造数智工厂
云原生+DevOps全性命周期平台
自动化建模、执杏注测试、业务流程自动化
AI+TMMi赋能全性命周期测试,智能天生用例
全性命周期IT服务,PMO征询与行业级交付

Rasa2 NLU 架构及源码解析(一)
J9集团信息
李丹 郑飞 杜昕宸 韩彤 秦帅帅

Rasa是当前智能机械人中最盛行的的谈天机械人框架,是基于机械进建和天然说话处置技术开发的系统,用于构建高低文AI副手和谈天机械人。
1.
布景
近年来,谈天机械人受到了学术界和工业界的宽泛关注。人为智能技术的急剧发展突破了谈天机械人原有的技术瓶颈,并且实际证明,谈天机械人的使用不仅可能为企业削减一大笔人力成本,并且可能显著提高工作效能,国内表多家企业纷纷布局谈天机械人行业。微软推出了基于感情推算的谈天机械人幼冰,百度推出了用于交互式搜索的谈天机械人幼度,进而推动了谈天机械人产品化的发展。谈天机械人系统能够看作是机械人产业与“互联网+”的结合,切合国度的科研及产业化发展方向。
随着人为智能在银行和金融科技的客户服务方面获得了沉大改进,客户越来越习惯于获得急剧响应。金融机构必须全天候回覆客户问题和进行买卖。金融机构业务扩大的加快使人为客服的成本大幅攀升的同时又无法持续满足服务质量,人为智能机械人通过金融机构持久堆集的业务经验和数据培训谈天机械人,可显著改善客户履历;谏鲜鐾吹愫托枰,各类谈天机械人框架应运而生。凭据社区活跃度、技术的成熟完整度及被引用、点赞等指标,我们选取Rasa作为人机交互对话机械人根基框架。
2.
Rasa简介
Rasa Open Source有两个重要?椋
●Rasa NLU :用于理解用户新闻,蕴含意图鉴别和实体鉴别。以pipeline的方式处置用户对话,可在config.yml中配置。
●Rasa Core:重要掌管对话治理。凭据NLU输出的信息、以及Tracker纪录的汗青信息,得到高低文的语境,从而预测用户当前步最可能执行哪一个action。
其中,Rasa NLU重要依赖天然说话处置技术,是能够独立的、与整体框架解耦的?,可支持大量NLP前沿技术,以组件的大局,能够矫捷与其他开源、自研框架搭配使用。
3.
Rasa NLU架构及源码解析
3.1 Rasa NLU概览
3.1.1 Rasa-NLU 架构图

Rasa NLU 架构图
注:(1)FallbackClassifier应呈此刻某一个意图分类器之后,利用其输出的了局,即intent、confidence、intent ranking,若是意图的相信度比预设的threshold低,或排名前两位的意图的相信度的差距幼于预设的ambiguity_threshold,则将该输入的意图分类为“nlu_fallback”
3.1.2 Rasa NLU训练流程

Rasa NLU训练流程图
rasa.model_training.train_async:
读取config, domain和训练data到file_importer: TrainingDataImporter, 并输入到_train_async_internal训练Rasa model (nlu and core).
rasa.model_training._train_async_internal:
判定模型必要沉新训练的部门并将判定了局写入fingerprint_comparison作为_do_training步骤的参数fingerprint_comparison_result的值输入_do_training实现相应部门的训练, 训练实现后将模型打包成trained_model,通过trained_model输入TrainingResult返回回至上层。
rasa.model_training._do_training:
通过fingerprint_comparison_result带入的了局判断是否沉新训练nlu, core和nlg, 并进入相应?榻醒盗。
rasa.model_training._train_nlu_with_validated_data:
按rasa.nlu.train.train各参数要求读取和整顿参数值,输入rasa.nlu.train.train起头nlu?榈难盗。
rasa.nlu.train.train:
通过初始化trainer=rasa.nlu.model.Trainer(...),构建config.yml中pipeline下的所有组件。读取TrainingDataImporter中的nlu数据后,将数据输入trainer.train起头训练。
rasa.nlu.model.Trainer.train:
遍历pipeline所有components,对每个component挪用component.train步骤实现训练。
3.1.3 Rasa NLU推理流程解析

Rasa NLU推理流程图
rasa.model_testing.test_nlu:nlu测试入口,使用get_model函数加载model并解压(unpack),创建了局输出目录,挪用测试过程
rasa.nlu.test.run_evaluation:测试过程入口函数,加载nlu模型初始化Interpreter事俘,加载测试数据,挪用get_eval_data进行测试
rasa.nlu.test.get_eval_data:在测试数据上运行模型,并提取真实标签和预测了局,输入interpreter事俘和测试数据,返回意图测试了局(蕴含意图的标签和预测了局,原始新闻,即message,及预测了局的相信度),response测试了局(蕴含response的指标值和预测了局),还有实体测试了局(实体的指标值,预测了局,和对应的token)
rasa.nlu.model.Interpreter.parse:一个interpreter对应一个训好的pipeline,其parse步骤顺次挪用pipeline中的每一个component的process步骤,来对输入文本一次进行解析和分类等操作,并返回处置了局(蕴含意图和实体)
每个component都有一个process入口步骤,用于测试和现实预测,在process步骤中再挪用各component的内部步骤(蕴含真正的处置逻辑),上图虚线框中即展示了一个根基的pipeline预测示例。
pipeline中Rasa自带的classifiers和extractors各组件(component)的具体介绍如下。
3.1 Classifier
3.1.1 Classifier架构

Rasa NLU Classifier 架构图
3.1.2 主流技术支持情况

3.1.3 DIET Classifier
3.1.3.1 架构

DIET ( Dual Intent and Entity Transformer ) 架构
3.1.3.2 模型支持注明

对在HuggingFace 中上传的所有预训练模型(Huggingface模型列表),Rasa DIET能够支持满足以下前提的所有模型:
点击Huggingface模型列表(https://huggingface.co/models?pipeline_tag=text-classification&sort=downloads)->选中一个模型->点击进入模型页面->点击Files and version
●查抄 config.json 中的 model_type 是否列在上表的 模型名称 列中
●查抄文件 tf_model.h5 是否存在
●模型使用默认tokenizer, config.json 中不蕴含支持自界说的 tokenizer_class
对满足上述前提的模型,通过2.1.3.3中描述的方式可开箱即用。
3.1.3.3 DIET支持Huggingface的配置样例
在Rasa2.0中,若想在DIET架构中使用Huggingface提供的预训练模型,除在rasa的config文件中指定使用DIETClassifier表,还必要共同使用对应的?椋
1) HFTransformersNLP
重要参数:model_name: 预训练模型config.json 中的 model_type的值;model_weights: Huggingface模型列表提供的预训练模型名称
2) LanguageModelTokenizer:确保训练数据token对应的token_id与预训练模型的token_id维持一致
3) LanguageModelFeaturizer:天生经预训练模型转换后的特点向量,做为架构后续?榈氖淙。

●DIET样例代码包地位:examples/hf_demo
●DIET样例代码挪用方式:项目根目录/main.py
●涉及的源码扭转:
如按 ‘样例代码挪用方式’ 直接跑报错... set from_pt=true, 请批改: 项目根目录/rasa/nlu/utils/hugging_face/hf_transformers.py: class HFTransformersNLP中的def _load_model_instance中

改为

3.1.3.4 DIET主题代码解析
rasa.nlu.model.Trainer.train:遍历pipeline所有components,对每个component挪用component.train步骤实现训练。在component遍历到DIETClassifier之前,HFTransformersNLP等组件已经提取好了DIETClassifier训练必要的特点。遍历至DIETClassifier后,DIETClassifier起头利用已经提取好的特点进入训练。
rasa.nlu.classifiers.DIETClassifier.train: 该步骤重要实现三件事:
●语料筹备:
通过DIETClassifier类中的步骤preprocess_train_data,将训练数据和之前提取的特点整顿成切合RasaModelData体式的model_data。RasaModelData体式为。。。。。之后将整顿好的model_data按batch_size整顿成data_generator供batch训练用。
●指定模型:将DIETClassifier类的成员self.model通过初始化DIET类实现指定DIET模型训练。
■DIET模型类继承自TransformerRasaModel类
■TransformerRasaModel继承自RasaModel类
■RasaModel继承自TmpKerasModel:通过沉写tf.keras.Model中的train_step(), test_step(), predict_step(), save()和load()步骤,实现自界说的Rasa模型。
◆train_step()使用自界说的batch_loss并对该loss做了正则化。batch_loss需由其子类实现。
◆predict_step()使用自界说的batch_predict()。需由其子类实现。
◆save()只使用tf.keras.Model.save_weights()。
◆load()天生模型结构后加载weights.
■TmpKerasModel继承自tf.keras.models.Model:沉写了tf.keras.models.Model的fit步骤来使用自界说的数据适配器。将数据转写成CustomDataHandler后由其处置迭代 epoch 级此外 `tf.data.Iterator` 对象。
●训练
3.1.4 SKLearn Classifier
3.1.4.1 架构

3.1.4.2 模型支持注明
Rasa 对 Sklearn中的所有分类器都支持,蕴含并不限于以下:

3.1.4.3 配置样例


3.1.4.4 主题代码解析
LabelEncoder()函数:标签编码,类别标签数值化
transform_labels_str2num() 函数:标签到数值
transform_labels_() 函数:输入数值,输出标签文本
GridSearchCV() 函数:网格搜索参数,通过循环遍历,尝试每一种参数组合,返回最好的得分值的参数组合。
SVC() 函数:创建模型训练器
process()函数:模型推理
3.1.5 Mitie Classifier
3.1.5.1 架构
MitieIntentClassifier分类器使用MITIE进行意图分类,底层分类器使用的是拥有稀少线性核的多类线性支持向量机,MITIE是在dlib机械进建库之上开发的NLP工具包。其架构如下图:

3.1.5.2 模型支持注明
rasa Mitie Classifier目前只支持Mitie Classifier中拥有稀少线性核的多类线性支持向量机。合用于少样本数据的分类。
3.1.5.3 配置样例
每个mitie组件都依赖与MitieNLP,因而它必要被放到pipeline中所有mitie组件之前,初始化mitie结构。

了局意图中没有intent_ranking,输出了局如下:

3.1.5.4 主题代码解析
训练代码流程图:

●训练数据输入到train
●获取预训练的词向量文件
●若是模型文件不存在则报错,不然事俘化trainer
●把training_data.intent_examples中examples 转换成token
●增长token、intent到training instance
●训练,把训练模型保留
预测流程:

●用户message输入到process
●判断分类模型是否存在,若不存在则设置intent为None,confidence为0,不然,把message转成token,而后推算intent,confidence,并设置到message中
3.1.6 Keyword Classifier
3.1.6.1 工作机造
当训练集中的原句再次出现时,keyword意图分类器可能迅速对其分类。该分类器在训练过程中自动网络整顿遇到的文本及对应意图,供后期使用时比对判断用。
3.1.6.2 使用样例
该分类器专门针对原句出现的场景,因而时时作为补充,与其他分类器共同使用,如下图。


当苦衷项:
由于Keyword意图分类涉及python自带的re包,因而提出特定的版本要求:
1) Rasa 2.6.0 + Python 3.6(python 3.8报错)
2) 训练数据中可能出现标点符号问题(原句洗濯),如中英文括号混用,将影响re的使用
3) 针对中文数据,必要将源码中re.search函数中pattern部门的r"\b"去掉
4) 通过消融尝试发现,KeywordIntentClassifier
●在pipeline中必要放在主Classifier之后
●与Response Selector共同使用时,先后挨次不限,依然遵循上条文则
5) 由于Keyword意图分类器地位在pipeline后段,因而不论是否命中原句,其分类了局都将覆盖之前组件了局,因而对源码作如下更改,使得未命中原句情况下,Keyword分类了局不覆盖。这意味着,非原句将选取其他分类器的了局


3.1.6.3 主题代码解析
KeywordIntentClassifier类重要由train,process,persist和load四部门组成,


Train重要在训练中进行两轮数据验证,存在矛盾的以下两类样本不被统计:
●一样文本归属不赞成图
●子文本(被父文本蕴含)归属不赞成图,此轮验证由子函数_validate_keyword_map实现
Process重要在训练后对输入的语句进行分类:
模型将输入Message与守护的intent_keyword_map进行比对:若是是原句,则返回查问到的意图,confidence置1;不然返回None,confidence为0,具体的比对工作由函数_map_keyword_to_intent实现。
Persist掌管模型保留,即将所守护的intent_keyword_map存为json文件到指定地位
Load将从指定地位的文件中还原出KeywordIntentClassifier
P.S.
数据结构
intent_keyword_map {text1: intent1, text2: intent2,.....}
training_data.intent_examples [eg1, eg2,...]
eg1 {text: xxx, intent: yy, ...}
3.1.7 Fallback Classifier
3.1.7.1 工作机造
重要职能:当鉴别出的意图confidence过幼或者是top2的两个意图confidence 很靠近时,设置当前文本的意图为nlu_fallback。
Fallback_classifier 处置流程图:

工作流程:
●用户message输入process
●挪用_should_fallback函数进行判断是否必要设置成fallback意图
■_should_fallback 重要通过两方面进行判断:
1. 通过_nlu_confidence_below_threshold函数判断意图的最高confidence是否幼于设置的threshold,若是幼于,则直接返回True,不然,持续下一步判断。
2. 通过_nlu_prediction_ambiguous函数,首先判断意图个数是否大于蹬宗2,若是否,则直接返回False,不然持续判断top 2 的两个意图confidence之差是否幼于ambiguity_threshold,若是是则返回True, 不然返回False
●若是_should_fallback 返回False 则process 直接return,不进行fallback设置,不然,进行fallback_confidence的推算,并将其设置到message中
3.1.7.2 使用样例
分类器注明:
重要用于判断当前输入文本是否Intent 得分过幼,或者排名靠前的两个得分相近。FallbackClassifier不能单独使用,必要在pipeline 中,使用FallbackClassifier之前配置其他的意图鉴别组件。
参数注明:
threshold: 意图阈值,若是所有的intent confidence 都幼于这个阈值,则设置当前意图为 fallback
ambiguity_threshold: 吞吐意图阈值,若是top 2 的阈值之差幼于这个阈值,则设置当前意图为 fallback
参数默认值:
在rasa/core/constants.py中设置,threshold为0.3,
ambiguity_threshold为0.1

使用配置文件:
TextLenClassifier 为自界说的意图鉴别组件,基于用户输入文本的长度对其进行分类(重要用于共同FallbackClassifier进行demo设计)。
FallbackClassifier:
threshold 设置为0.3 ,ambiguity_threshold设置为0.05

3.1.7.3 主题代码解析
Fallback_classifier 函数挪用关系图:

函数注明:
●def process(self, message: Message, **kwargs: Any) -> None:
FallbackClassifier组件入口函数
●def _should_fallback(self, message: Message) -> bool:
是否必要将意图设置为fallback
●def _nlu_confidence_below_threshold(self, message: Message) -> Tuple[bool, float]:
判断所有意图是否都低于配置阈值
●def _nlu_prediction_ambiguous(self, message: Message) -> Tuple[bool, Optional[float]]:
判断是否存在吞吐的意图
●def _fallback_intent(confidence: float) -> Dict[Text, Union[Text, float]]:
体式化输出意图
FallbackClassifier样例代码包地位:
examples/fallback_demo
样例运行了局:
配置注明:
Domain配置:两个意图,intent_small, intent_big

Config配置:

模仿分类器-TextLenClassifier:
基于文本长度进行分类,设置分歧的confidence,TextLen 幼于 3时,intent_small为0.1,intent_big为0.2;TextLen 大于等3幼于5时,intent_small为0.58,intent_big为0.6;TextLen大于5时,intent_small为0.7,intent_big为0.8。
运行了局展示:

TextLen> =5

3<=TextLen<5

TextLen< 3

