网易严选的网关架构演进之路

摘要:北京时间20200923关于【网易严选的网关架构演进之路】的具体情况和说明,让www.gywsjx.com新闻频道的以图文形式为您慢慢道来。

作者|杨文超

策划|田晓旭

严选自2016年诞生以来,不论从业务、技术还是体量,每年都在飞速发展。而作为严选对外服务的总入口,网关承接了主要的业务流量,保障着严选业务的稳定运行,并帮助业务进行更好的容灾和降级。

随着服务化、容器化的演进,严选API网关也转变角色,作为严选边缘网关,协助业务进行无感知的流量迁移。最后,严选API网关统一到了基于云原生的轻舟EnvoyAPI网关,不断往更高级的形态演进。

1总体演进历程

如上图所示:

ServiceMesh1.0:严选自研的基于Consul+Nginx的服务网格,解决了内部微服务之间的流量治理问题,统一了严选微服务体系。API网关1.0:即严选Ianus网关,解决了外部对服务访问的流量治理问题,并经受住了多次大促流量的考验。

ServiceMesh2.0:严选的服务网格进化为网易轻舟(下文简称轻舟)的基于Istio的服务网格架构,支持更丰富的流量管控能力。边缘网关:在流量迁移到轻舟过程中,API网关角色就转变为边缘网关,负责跨云的流量管控,这里也推进了云内边缘网关的建设。

API网关2.0:即轻舟Envoy网关,此时数据面抛弃了API网关1.0版本,与轻舟一起建设基于Envoy的云原生API网关。

2API网关1.0(严选Ianus网关)——体系建设

经过产品调研和技术选型,我们最终基于Kong构建严选API网关,命名为Ianus,开始了严选API网关的打怪升级之旅!

部署架构

Yanxuan-Ianus:数据面组件,承接实际的业务流量。

Yanxuan-Ianus-PGProxy:控制面代理组件,对PostgreSQL写操作进行收敛,而Yanxuan-Ianus只保留只读权限,消除安全隐患。

Yanxuan-Ianus-Admin:控制面组件,提供完整的API配置、插件配置等操作。

如上图所示,为数据面的具体部署拓扑,通过合理的集群规划,可以做到:

物理上对业务进行隔离,避免相互干扰。

集群根据自身业务流量进行容量配比,有利于资源精细化管理。

通过集群方式进行API的配置管理,理解直观、配置清晰。

数据面建设

如上图所示,数据面具体技术栈实现为:

Nginx:以Openresty主版本依赖为准,扩充引入所需的功能模块,其中consul-module用于集成Consul,统一到严选Servicemesh1.0的服务治理体系中;vts-module用于统计监控信息的采集。

Openresty:直接引入官方的稳定版本,不做额外变更。

Yanxuan-Kong:引入Kong的主干版本,并进行额外的功能扩展,包括参数路由、集群管理、租户管理、灰度发布等等。

Yanxuan-Ianus:所有扩展功能插件均在此管理,适配微服务形态的地址路由等。

控制面建设

Kong原生的配置管理,没有权限控制,没有版本记录,功能缺失较多,无法应用于生产环境。因此,我们对控制面进行了如下增强:

版本信息管理

在现有配置基础之上,包装了基于MongoDB的配置管理,支持历史版本的回溯、版本回退、版本比较等功能。有效地避免了配置出错导致的无法回滚,或回滚不方便等问题。

标准化配置流程

接入严选工单体系,提供统一的配置申请、审核、发布等节点动作,有效地对业务配置需求进行管理,在流程上对配置更新进行管控。

接入严选报警体系,在配置变更时,将变更通知到业务负责人、配置人员、网关运维人员,确保实时感知配置变动,预知风险点。

灰度发布功能

将配置下发到指定的网关实例节点,进行灰度验证,最小化配置出错的影响范围。

插件能力建设

Kong在Openresty上做的一项重大改进,就是对插件的规范,支持了热插拔、配置动态下发等能力。严选扩充了频控插件、路由插件、请求/响应转换插件等30余个,同时也为部分业务定制了功能插件,如AB实验分流插件、登录鉴权插件、身份信息提取插件等。

容灾能力

增加了按百分比进行限流的能力,并支持分地域差别处理。

熔断降级能力,按需熔断部分非重点业务接口,保证业务主体功能的稳定。

频控限流能力,根据服务自身的承载能力,在网关侧配置相应阀值,避免业务被突发流量打垮。

链路跟踪基于插件形式扩展,与严选APM体系集成,将网关的请求数据采集到全链路监控体系中,补齐链路节点,消除链路追踪盲点。为避免引入性能损耗,此处基于日志进行异步上报,并且采样率可通过插件配置参数进行调整。

AB实验分流支持

AB实验本身包括了多个方面的实验,而网关侧负责对入口流量的分流实验进行落地。

1、网关管理平台对接实验平台,业务在实验平台配置实验后,相应配置会下发到网关。

2、网关对命中的接口,二次访问实验平台的决策接口,获取具体实验方案。

3、支持多种方案类型,根据决策平台返回的结果执行对应的方案。

收益启示

经过严选Ianus网关的体系建设,我们初步达成了:

1、统一严选的API访问入口,超过90%流量跑在严选Ianus网关之上。

2、统一流量治理,在控制面上与微服务达成统一。

3、提供标准的容灾能力,如频控、降级、静态化等,从而业务可以进行复用。

4、充分利用LUA的插件能力,满足业务个性化需求。

期间线上问题进行实时的总结归档,比如Nginx的配置使用问题,Kong的版本跟踪问题,PostgreSQL的优化等等。实际落地过程中,我们没有局限于网关,而是着眼于严选微服务体系的建设。

3API网关1.5时代——边缘网关

随着ServiceMesh从1.0向2.0演进,过渡期会存在ServiceMesh1.0(严选VM)与ServiceMesh2.0(轻舟K8S)两种类型的ServiceMesh共存的情形,自然面临两个ServiceMesh间的流量调拨问题。

为方便介绍,如下描述中"云外"代表ServiceMesh1.0,"云内"代表ServiceMesh2.0。

跨ServiceMesh访问

在各个ServiceMesh之上,部署自建的边缘网关(EdgeGateway),与数据中心的基础设施集成。云内即推动轻舟将原有Istio服务网格中的Ingress/Egress进行替换,统一到轻舟Envoy网关(即下文的API网关2.0)。

如上图所示,云外采用严选Ianus网关进行部署,云内采用轻舟Envoy进行部署。以云外访问云内为例:

1、流量首先由ServiceMesh1.0进行管控,并路由/分流到边缘网关(IanusOUT)。

2、边缘网关(IanusOUT)进行出口流量的权限认证以及路由。

3、边缘网关(EnvoyIN),对流量在SericeMesh2.0中进行正常的路由/分流。

跨环境访问

已有跨环境访问,需要SA打通两两IP之间的防火墙。一方面,每次需要对应用服务器IPtable做专门的配置;另一方面,所有互访配置离散到各个应用服务器,无法做集中管控。

这里将跨数据中心的访问流量,统一走到边缘网关,在网关上进行相应的认证鉴权(基于插件实现)。

如上图所示,跨ServiceMesh可以认为是东西向流量,而跨环境可以认为是南北向流量。最终支持了各大环境互访,统一业务访问方式,消除环境差异,并对流量进行集中式管控,方便统一运维!

收益启示

通过上述工作,我们完成了:

1、承接了100%的跨ServiceMesh流量。

2、无缝融合ServiceMesh1.0以及ServiceMesh2.0的流量调配机制,业务不感知流量跨ServiceMesh。

3、统一了跨环境的认证鉴权,方便集中管控。

4、通过流量兜底等能力,实现双ServiceMesh热备,支持业务的高可用。

这里跨环境的支持,是云内云外互访落地过程中,根据业务的需求反馈进行整理抽象得到的,进一步扩展了网关的部署架构,丰富了网关体系。

4API网关2.0(轻舟Envoy网关)——云原生

网关选型

上云之初,严选API网关团队也调研对比了Kong、Traefik、Ambassador、Gloo、IstioGateway等的特性,目标是构建一个云原生的API网关。

随着上云的深入,综合考虑后,决定将云内网关建设的任务交给轻舟网关团队负责,严选则从API网关的需求以及当前的工程建设规划出发,给出设计和建议。数据面部分,考虑了现有轻舟微服务体系的无缝融合以及主流的产品实现,选型采用了Envoy进行数据面的建设;控制面部分,考虑到严选需要复用现有管理平台的功能,则基于现有的Istio体系进行共建。

部署架构

如上图所示,整体分为控制面和数据面两部分。数据面由双方共建设计方案,落地交由轻舟负责;控制面严选跟轻舟共建,统一到已有严选API网关管理平台。而具体数据面集群的规划,沿用了严选Ianus网关的部署方式,在此不再赘述。

数据面建设

如上图所示,数据面在选型时,对流量是否要经过网关和Sidecar两层进行了权衡,从简化调用链路,网关与Sidecar角色差异考虑,采用了绕过Sidecar的模式。此时网关部分功能与Sidecar功能虽有重合,但与ServiceMesh保持了独立,可各自演进。当前支持的基础功能包括:默认路由能力、版本分流能力、兜底路由能力等。特别地,对请求流量治理时,需要同时考虑ServiceMesh跟API网关的控制指令下发。

控制面建设

如上图所示,为了保持严选API网关产品的一致性,轻舟的控制面最终需要跟当前严选API网关的管理平台功能对齐,复用严选Ianus网关管理平台的能力,包括配置管理、API发布管控等等,确保用户体验的一致性!

如上图所示,为整个控制面的下发链路,主要组件包括:

APIGatewayAdmin

严选网关管理平台,集成到现有的网关管理平台中,通过数据中心(严选|轻舟)的切换,实现两边配置的管理,对外展示表现完全一致。

APIPlane

轻舟Envoy网关控制面配置适配层,负责接收配置数据(严选API配置模型),转化格式(对应到Istio模型),并存储到K8SConfigStore。严选负责严选适配组件的扩展开发,轻舟负责基础功能的实现。主要功能包括,网关集群获取、后端服务列表获取、插件列表/详情获取、API创建/删除等。最终发布时,将轻舟侧代码反向同步到严选侧的GIT上,统一到严选的发布体系中。

IstioPilot

Pilot作为IstioServiceMesh方案控制面组件,主要负责以下功能:

1、从注册中心获取服务注册信息,并转换为CDS,EDS下发。

2、从配置中心获取服务配置信息,并转换为LDS,RDS,CDS下发。

3、Envoy静态配置的生成以及生命周期的管理。

严选ServiceMesh2.0解决方案中,Pilot分饰两角,一个作为网格内服务控制面,另一个作为网关服务控制面。

插件能力建设

为支持严选Ianus网关长期的演进迁移到轻舟Envoy网关,同时参考了Kong和Envoy已有的插件能力进行落地。

Envoy原生插件

原生Envoy单个功能插件的开发,涉及到整个配置链路多模块变更,丧失了插件可扩展性的优势。

落地时,对插件配置的转换进行了规范,归一到Schema上来,后端根据该Schema进行统一的Istio资源转换,前端管理平台根据Schema进行统一的配置页面渲染。开发成本缩减到一个模块,扩展优势得到体现。

LUA扩展插件

严选Ianus网关下,基于Kong的LUA插件扩展能力,已经实现了较丰富的功能插件,如果直接切换到轻舟Envoy网关,则原有的插件都需要按照新的规范重新开发。


查看更多
红娘直播app官方下载地址|国产浮力影院1限制免费线路|国产中日文字幕无线看|寂寞少妇野外车震|香港电影三级|AVͼƬapp|久草在线影院免费|不卡的爱情动作网址|人人干人妻|任你躁这里有精品5|亚欧有色av|caoprom最新超碰地址|avi电影小优|性欧美AV|miya177.vom|zn37宅男影院|樱桃9网站|SM美女种子|爵士娱乐在线视频|她稚嫩哭喊撕裂他残忍|

实时推荐

郭艾伦“背锅”吃违体,辽篮大胜难掩梅奥低迷,一数据被甩一条街
推荐 2020-10-24 11:28 685 8363
重阳好个秋| 唤上老伙伴们去植物园玩一把AI探花识花莳花
推荐 2020-10-24 11:28 388 7164
金庸写过不少神功,但有5招不合理,其中4招他自己都说吹得太过
推荐 2020-10-24 11:27 592 9082
2021款日产奇骏实车到店,轴距2706mm,仅18.88万起
推荐 2020-10-24 11:27 122 2954
别摸,真会烫手!智米石墨烯电暖气测评
推荐 2020-10-24 11:27 187 9927
汽车故障灯亮了还能开吗?遇到这几项要小心
推荐 2020-10-24 11:27 180 1897
日常开车一定要养成的几个好习惯,否则一定会后悔
推荐 2020-10-24 11:27 971 9539
遇到这些碰瓷的情况怎么办,学会这几招完美解决
推荐 2020-10-24 11:27 441 3068
王文也恋爱后现幸福肥,晒近照脸圆一圈,此前和男友开启浪漫之旅
推荐 2020-10-24 11:27 878 1258
52分巨星王者归来,却联手篮网4大核心苦练,投奔欧杜抗击詹皇
推荐 2020-10-24 11:27 217 2234
汽车保养只注重车身与发动机?这三个位置同样重要
推荐 2020-10-24 11:27 367 8157
易纲:金融业向负面清单管理的转变还有不少工作要做
推荐 2020-10-24 11:27 456 3712
茭白放锅里蒸一蒸,没想到这么厉害,我也是才知道
推荐 2020-10-24 11:27 618 4766
3-0,飙升7位!英超升班马专治不服,叫板利物浦并非一时逞强
推荐 2020-10-24 11:27 116 3030
济宁市经济与环保和谐可持续发展研讨会召开
推荐 2020-10-24 11:26 444 5327
张无忌一身神功是否留下传人?原本还真有,那传人武功盖世却被删
推荐 2020-10-24 11:26 484 1479
快讯:福晟集团新增多起股权冻结 总额约2.7亿元
推荐 2020-10-24 11:26 679 4340
武汉3条地铁线加密车次!还有这些好消息
推荐 2020-10-24 11:25 497 7168
青岛应急管理部门出台36项服务举措优化营商环境
推荐 2020-10-24 11:25 715 658
镜湖区刚需上车神盘,业主贱卖华强广场三居室,每平仅1.8万,首付仅72万!
推荐 2020-10-24 11:25 642 3818
丝绸之路真的起源于张骞吗?安阳古墓出土的3件文物刷新你的认知
推荐 2020-10-24 11:25 747 3673
南明刚需上车神盘,业主贱卖友谊佳苑三居室,每平仅0.9万,首付仅22万!
推荐 2020-10-24 11:25 577 5843
置业河东区必看!价格喜人,每平1.1万!怡海国际新城四居室,首付54万
推荐 2020-10-24 11:25 907 7117
迎泽新上笋盘,铁路双塔寺C区二居室,首付仅21万!折下来每平才1.1万
推荐 2020-10-24 11:25 499 2959
柯桥刚需上车神盘,业主贱卖赞成香林四居室,每平仅2.6万,首付仅124万!
推荐 2020-10-24 11:25 227 1035
滨湖超人气二手房!降幅喜人,直降20万!富力十号三居室,首付84万
推荐 2020-10-24 11:25 184 7562
QG首发该换人了!粉丝怒批不思进取,BP真不是最大问题!
推荐 2020-10-24 11:25 367 6984
惠阳楼市大揭秘 !卓越蔚蓝海岸四期新上三居室,均价才1.5万,首付只要40万!
推荐 2020-10-24 11:25 1000 5510
石碣中学教育集团组建成立 四校“牵手”共促发展
推荐 2020-10-24 11:25 576 2446
中堂:凉亭变“议事亭”议出社区大和谐
推荐 2020-10-24 11:25 817 7606
这35碗令人垂涎欲滴的中国特色面条,不知你吃过的有多少碗?
推荐 2020-10-24 11:25 948 9461
经常忘事,反应慢是为何?做好3件小事,头脑灵光,增强记忆力
推荐 2020-10-24 11:24 92 6546
一天内24个小时,一个时间段被称养生“黄金段”,学到就是赚到
推荐 2020-10-24 11:24 94 4454
滴酒不沾却长醉——“自动酿酒综合症”你听说过吗?
推荐 2020-10-24 11:24 196 5618
《我就是演员3》回归,一位百亿影人加盟,和隔壁节目杠上了?
推荐 2020-10-24 11:24 508 7565
12岁当上宰相的甘罗!长大之后再也没有出现在历史当中
推荐 2020-10-24 11:24 469 6201
三国时期的武将中,谁的综合实力最强?
推荐 2020-10-24 11:24 159 4763
王俊凯穿衣太圈粉,衬衫配牛仔裤清新帅气,真是阳光清爽风的经理
推荐 2020-10-24 11:24 612 600
他是国家一级演员,与妻子因戏生情而结婚,出道十几年零绯闻
推荐 2020-10-24 11:24 94 5623
众裕-户外使用液晶广告机有哪些功能和优势
推荐 2020-10-24 11:24 973 8419
海贼王993话,凯多开始反攻,九侠远不及御田,小菊惨遭断臂
推荐 2020-10-24 11:24 241 8830
他武力不下魏延,诸葛亮拿他没办法!出于礼貌,才没有活捉诸葛亮
推荐 2020-10-24 11:24 406 2396
他们恩爱18年,本打算丁克,却41岁高龄产子,如今儿子已经6岁了
推荐 2020-10-24 11:24 592 5001
郑恺官宣得女喜讯:说苗苗赢了程晓玥的人,也太狭隘和可笑了
推荐 2020-10-24 11:24 857 5504
路北潜力盘流出!煤医里一居室,均价仅1.9万,首付仅25万起!
推荐 2020-10-24 11:24 256 9131
古代打仗:明明知道站前排必死,为何士兵还抢着上?原因有3点
推荐 2020-10-24 11:24 966 5148
官渡区刚需小区大盘点!每平2.4万,海东俊园三居室遭疯抢,首付才91万!
推荐 2020-10-24 11:24 323 9182
德国或年内启动新冠疫苗接种
推荐 2020-10-24 11:24 872 2997
上海德比苦战120分钟 上港点球胜出
推荐 2020-10-24 11:24 694 8877
南明学位房全面评测,阳光100新上二居室,均价才0.9万,首付只要31万!
推荐 2020-10-24 11:24 740 9766
晋源这么火,还降价卖?这套二居室直降3万,首付43万就能搬进绿地塞纳公馆!
推荐 2020-10-24 11:24 695 9607
让杨洋五年不接综艺的节目,堪称综艺版甄嬛传,如今姐姐们换名后又开播
推荐 2020-10-24 11:24 996 2206
置业小店必看!价格喜人,每平1.0万!拉菲香榭二居室,首付29万
推荐 2020-10-24 11:24 780 4029
索帅为曼联小王炮轰名宿不知所谓!坚称青木从未迟到,因生病缺阵
推荐 2020-10-24 11:24 246 4683
越城一周好房速递,这套二居室均价3.4万,首付28万就能搬进府学弄小区!
推荐 2020-10-24 11:24 283 4177
置业乌当必看!价格喜人,每平1.2万!保利温泉新城(四期)二居室,首付13万
推荐 2020-10-24 11:24 535 7548
本周精选清城捡漏房,首付19万就能买到三居室,世纪花城最新均价0.7万
推荐 2020-10-24 11:24 453 3355
官渡区楼市大揭秘 !新光世纪城新上二居室,均价才1.1万,首付只要42万!
推荐 2020-10-24 11:24 523 1356
TV动画「攀岩少女」BD第1卷封面公开
推荐 2020-10-24 11:24 265 1554
踏入异宠圈 你想好了吗?丨刺猬、蜘蛛、羊驼、蟑螂……获取渠道或涉违法,如弃养更会危害公共安全
推荐 2020-10-24 11:24 776 8976
37岁李彩桦又演坏女人,比《回家的诱惑》艾莉还可恨,气场两米八
推荐 2020-10-24 11:24 730 7807
国家卫健委正式启动5G医疗卫生行业标准研究
推荐 2020-10-24 11:24 238 2425
首次“热滑”成功!地铁14号线列车带电“跑”起来
推荐 2020-10-24 11:24 411 4309
定了!10月30日开始!南昌人要沸腾了……
推荐 2020-10-24 11:24 169 4857
刘翔前妻越活越年轻,格纹小西服搭贝雷帽,超高颜值惹人羡
推荐 2020-10-24 11:24 235 3310
黑芝麻与胡萝卜,哪种对卵巢更好?女人若常吃,年轻不显老
推荐 2020-10-24 11:24 435 7348
甲状腺为什么越来越“娇气”了?
推荐 2020-10-24 11:24 184 7057
28岁朱元璋的手段有多狠?为成为一把手,一招借刀杀人瞒天过海
推荐 2020-10-24 11:24 114 9987
尊老敬老,铸造中医特色“老年友善医院”
推荐 2020-10-24 11:24 998 3660
肚子总是“咕咕叫”?多半是此物在“作祟”,为健康别忽视
推荐 2020-10-24 11:24 698 8931
反酸烧心、胃酸过多应该吃什么好?
推荐 2020-10-24 11:24 218 8821
蒲公英又称神药,但真的能治百病?真实效果也就3个而已
推荐 2020-10-24 11:24 492 1095
刘邦深知吕后与戚夫人的矛盾,为何不留下足够的措施保护戚夫人
推荐 2020-10-24 11:24 272 9318
宋小宝事业走下坡路?暂退娱乐圈以为是养身体,其实另有隐情
推荐 2020-10-24 11:24 517 3448
遗传的帅气?通过合照,网友惊叹他们原来是亲兄弟!
推荐 2020-10-24 11:24 921 3499
赢一场就保级引发争议 赛制为什么选择淘汰赛
推荐 2020-10-24 11:24 557 9226
韩国六旬翁拒戴口罩殴打司机被判刑
推荐 2020-10-24 11:24 444 8665
名评论员:真没想到凯西现在这么强,他已成为真实的杰出球员
推荐 2020-10-24 11:24 769 1553
高血脂患者,日常多吃此类食物,有效降低胆固醇,给血管洗洗澡
推荐 2020-10-24 11:24 102 7854
风格大变!布加迪新车型曝光,有点兰博基尼的味道?
推荐 2020-10-24 11:24 526 6624
周芷若隐藏了一生的秘密,若是张无忌知道,定会迎娶她,放弃赵敏
推荐 2020-10-24 11:24 200 5148
第二个刘涛?嫁入豪门却因破产欠债1.4亿,不离不弃和老公还债务
推荐 2020-10-24 11:23 807 5615
30岁谭松韵太有少女感了,彩色发夹点缀名门泽佳效果复古文艺
推荐 2020-10-24 11:23 444 953
戚薇自爆上学是校花,本以为是开玩笑,看到17岁旧照:沦陷了
推荐 2020-10-24 11:23 168 7110
伊朗直接开炮,精锐部队挺进前线
推荐 2020-10-24 11:23 272 7362
曹操最看重的猛将!战平赵云击败徐晃张辽,被关羽一刀击杀
推荐 2020-10-24 11:23 698 1865
三山区刚需小区大盘点!每平0.8万,芜湖碧桂园江心环玉苑区三居室遭疯抢,首付才31万!
推荐 2020-10-24 11:23 611 7445
她是“小婉君”,24岁嫁豪门生5子,与丈夫离婚获4亿分手费
推荐 2020-10-24 11:23 788 1230
郎平用7个字点评张常宁!师徒如母女,一个眼神全传递
推荐 2020-10-24 11:23 969 6314
惠济区新城办事处:垃圾分类趣味小课堂在金河社区开办
推荐 2020-10-24 11:23 343 1562
郑东新区“四办合力”助推政务服务再“升级”
推荐 2020-10-24 11:23 568 7195
清城刚需上车神盘,业主贱卖松鹤西街三居室,每平仅0.4万,首付仅7万!
推荐 2020-10-24 11:23 523 5756
城关一周好房速递,这套二居室均价1.7万,首付50万就能搬进紫金大厦!
推荐 2020-10-24 11:23 367 4750
东升镇核心区新上好房,均价0.7万的豪邦宿舍三居室,首付仅22万!速看
推荐 2020-10-24 11:23 573 5293
宝宝说话鼻音重含糊不清,应该怎么办
推荐 2020-10-24 11:23 556 9800
2栋宽12米的两层别墅,外观简约而精致,施工难度小
推荐 2020-10-24 11:23 249 2755
入秋后,迎来了孩子身高发育的“转骨期”,抓住机会个头还能长
推荐 2020-10-24 11:23 667 5530
《明日方舟》MN-EX8古老对决打法图文攻略
推荐 2020-10-24 11:23 147 7477
客厅挑空带堂屋的欧式别墅,造型很气派,亲戚看了也不停夸
推荐 2020-10-24 11:23 647 9704
本周精选清新捡漏房,首付21万就能买到三居室,新亚棕榈园最新均价0.7万
推荐 2020-10-24 11:23 198 9419