(2014-06-03 11:08:06)
转载▼
标签：
风险管理
模型验证是对评级体系、评级流程和所有参数估算的准确性和一致性进行评估的整个过程，是评估和提高模型表现水平、防范模型风险及合理使用模型的基本手段。 巴塞尔协议规定商业银行内部信用评级体系验证最低的要求是：定期比较参数的实际值与预测值，执行返回检测；定期预测比较预测值和相关的外部参数，执行基准测试。
内部评级模型验证包括两方面：内部评级体系验证和内部评级过程验证。
一、内部评级体系验证：包括模型验证设计和风险参数估值验证，主要关注评级模型合理性以及风险量化结果准确性和一致性。明确验证范围、执行主体和验证方法，建立定期评估、更新验证方法的机制，确保验证工作的独立性和客观性。
泵头模型验证标准：准确性和一致性。
准确性高低是指模型输出结果与实际结果的偏离程度大小。一致性是指模型在不同行业、不同地区风险度量一致，不同时间段内一致。
模型验证内容：内评的风险参数模型：借款人评级、债项评级、PD、LGD、EAD; 内评结果应用模型：预期损失和非预期损失模型等。
chdtv
对单个模型，模型验证包括建模参数、建模过程和输出结果。
建模过程验证包括对理论基础和程序代码的验证
输出结果审查保证结果准确性和易于理解
模型验证方法：定性方法和定量方法结合验证。
定性方法对模型设计、数据质量和模型结果出发，从模型假设、理论方法和模型报告角度对模型进行整体评估和检验。
定量方法是通过量化工具对模型准确性和一致性进行评估。分为返回测试和基准测试两种。返回测试是指将模型结果与实际结果进行比较。基准测试则是将模型预测结果与一系列内部或外部工具进行比较来推断平均正确性、内部基准测试是将模型输出结果同客户经理或业内信贷专家的观点进行比较；外部基准测试是与其他评级方法或模型进行比较。
内评验证实施原则：独立性原则（建模与验证人员独立）、明确责任（验证部门认可和书面记录、得到批准）、模型记录（原因、模型局限性、重要事件、建模关键人、时间等）、持续验证（定期模型验证，建模机构对模型调整，进行相关记录）、内部审计。
定量验证方法：
1、累积精度曲线CAP曲线图。
CAP(Cumulative Accuracy Profile)：累积准确曲线。CAP曲线及准确性比率/AR描绘了每个可能的点上累计违约排除百分比。为了画出CAP曲线，需要首先自高风险至低风险排列模型的分数，然后对于横坐标客户总数中特定的比例，CAP曲线的
纵坐标描述风险评级分数小于或等于横坐标x中的违约个数百分比。一个有效的模型应当在样本客户处于同一排除率的情况下，排除更高百分比的坏客户。
2、精确度AR。AR=a_r/a_p，a_r为待验证模型的CAP曲线与随机模型CAP直线围成面积；a_p为最佳模型的CAP 曲线与随机模型CAP直线围成的面积。
不锈钢液压管接头3、条件信息熵。H_0=-[p(d)*log(p(d))+(1-p(d)*log(1-p(d))]条件信息熵月高说明模型预测能力越好。
4、信用转移矩阵（Transition Matrices）
5、KS检验
KS（Kolmogorov-Smirnov）检验:K－S检验主要是验证模型对违约对象的区分能力，通常是在模型预测全体样本的信用评分后，将全体样本按违约与非违约分为两部分，然后用KS统计量来检验这两组样本信用评分的分布是否有显著差异写字机器人
6、ROC曲线
ROC(Receiver Operating Characteristic Curve)：接受者操作特征曲线。ROC曲线及AUC系数主要用来检验模型对客户进行正确排序的能力。ROC曲线描述了在一定累计好客户比例下的累计坏客户的比例，模型的分别能力越强，ROC曲线越往左上角靠近。AUC系数表示ROC曲线下方的面积。AUC系数越高，模型的风险区分能力越强。
二、内部评级过程验证：涉及数据质量、评级报告流程和内部使用测试，重点关注评级系统具体实施过程。数据质量验证、报告流程和内部使用验证和评级模型质量验证。
（一）数据质量验证：确保符合数据完整性（适合评级）、代表性（样本能代表资产组合实际状况）、充足性（样本足够大、时间跨度长）和一致性标准（不同观察期和行业具有可比性）。
（二）报告流程和内部使用验证。
（三）评级模型质量验证。d 评级模型质量要基于文档记录，验证文档记录的内容、范围、透明度和完备性本身是否否符合标准。评级结果合理性，评级模型适用性，模型开发数据的合规性，模型开发假设条件、参数、模型结构的正确性，评级模型运行过程的有效性。
取样处理方法1模型验证取样理论。模型验证样本包括out-of-sample、out-of-universe、out-of-time，选择样本不同于建模样本，需要有不同的特性和数据分布，跨越不同的行业数据。
取样处理方法2向前试探检验：选择不同时间端样本数据进行模型验证。
取样处理方法3重新取样技术。
评级建模方法论
(2014-07-10 10:38:24)
转载▼
标签：
风险管理
1.评级模型架构
评级模型的建立一般是数学建模过程，运用客户数据，根据业务需求进行模型建设，实现违约客户的准确判别。
（1）评级建模的基础是数据，数据采集来源：核心系统、CMS系统、征信数据、工作流系统、外部数据等。（原则是数据量尽可能大，数据纬度尽可能大）
（2）数据集市：由于数据来源不同的系统，数据繁杂需要进行整理和清洗形成不同业务目标的数据集市。（3）评级模型：根据零售风险暴露类型不同：其他零售贷款、合格零售循环、住房抵押贷款，根据提供的贷款产品不同设计不同的细分模型。
2.评级流程
无动力滑翔伞（1）数据集市：数据抽取、数据整理、指标库开发
数据抽取：集市中抽取数据模版、数据质量分析报告
数据整理：数据检查（异常值、缺失值、0、null）、交叉检验(数据不一致、勾稽是否一致)
指标库：i.样本量统计指标（频数、均值分位数）、样本纬度分析（交叉分析（两变量间）、交叠分析（多变量））、vintage 分析（样本随时间变化）
ii.数据指标（业务指标、统计指标）、方式方法（按指标确定数据来源、结合数据源和指标库进行计算）、成果(数据集市是数据积累平台、建模基础)
（2）评分模型：评级目标及范围、数据指标长清单、样本提取、变量分析、模型构建、校验
评级目标及范围：
新账户（1-6个月）：申请评分卡（运用新客户申请数据、征信数据等有限的资料得到最佳结果）
老账户（>6个月）：行为评分卡（运营老客户申请数据、行为数据等历史行为得出最新结果）
违约定义：将客户分成好客户和违约客户。违约特征、风险偏好、业务特征、催收管理、政策规定选
择合适的预期时间来划分违约客户。
气门座镗床数据指标长清单：涉及身份、人口特征、与银行业务关系、行为资料、信用信息、担保信息、产品信息等样本提取：按好坏样本分成两部分选择合适的比例进行分层抽样构建评级模型所需数据。
变量分析：长清单变量的过滤和选择，通过单变量分析和多变量分析等分析手段得到能够预测违约的计量因素。
模型构建：使用统计学原理分析所有短清单选择因素、分配权重、检查稳定性。判断模型评分是否合理，再调整模型。
校验：（1）区分能力（定量验证，ROC/AR值/K-S检验）、稳定性（PSI值/转移矩阵分析）、准确性（卡方检验/二项检验）；（2）定性检验：使用测试数据进行模型运算。
（3）模型跟踪监控：对不同细分模型在后续的使用中，模型跟踪和模型后续改进。
