More  

小編的世界 優質文選 主機

一家4000億銀行“換心”的背後


2020年10月17日 - 主機小編 輕金融 
   

在同行面對“分布式架構”還舉棋不定的時候,這家總資產規模4000億元的城商行,率先開啟了核心系統發展的新紀元。

來源:輕金融 作者:辛然

上個世紀90年代,中國流傳著這樣一句話:“東莞塞車,世界缺貨”。雖說是一句戲言,卻從側面佐證了東莞當時如日中天的“世界工廠”地位。

新世紀到來後,受國際市場萎靡、制造成本上漲等因素影響,東莞的發展陷入低潮。此後,東莞“割肉斷臂”,通過發展科技、升級產業、制造生態、引進人才……,用轉型升級走出了一條創新自救之路。

“以前看東莞制造,現在看東莞創新”,追求創新,已成為對這座城市精神最好的注解。

東莞銀行——今天我們故事的主角,是國內城商行中的佼佼者,在傳統銀行信息化建設方面一直走在行業前列。深植骨子裏的創新基因,是東莞銀行成為行業革新探索者的原動力所在,也是對東莞精神最好的傳承。

2020年6月8日,對東莞銀行乃至中國銀行界來說是一個值得被銘記的日子——全國首例采用“微服務+單元化”架構的新一代銀行核心系統落地東莞銀行。

要想真正理解這件事的意義,我們先來科普一下何為“微服務”和“單元化”:

微服務,就像制造應用的工廠,工廠裏每個部門負責一項任務,而非一個人或一個部門生產一整個產品。微服務架構將大目標分解成小部分,每個小部分獨立完成。

單元化,就是不把雞蛋放到同一個籃子裏面,而是把業務劃分出各個邏輯的單元,每個單元像細胞一樣獨立工作,當某一個地域出現問題之後,不會影響到其他地方。

熟悉金融IT的同學,相信對這倆技術並不陌生,都是業內各路專業人士時常掛在嘴邊的“時髦詞匯”。但將它們創造性的融合在一起,東莞銀行毫無疑問面臨著第一個吃螃蟹的巨大未知和風險。

但命運往往不會辜負那些勇於改寫歷史的人,東莞銀行的創舉為他們所帶來的回報也是貨真價實的。

通過“微服務+單元化”架構的部署方式,東莞銀行新核心系統完全滿足銀行在低成本、高可用、高性能、可快速擴展等多方面的要求,能有效支撐銀行高速發展互聯網業務,滿足海量客戶數據與業務爆發式增長的需求。同時具備完善的敏捷開發能力和豐富的運維管控能力,可以全面賦能東莞銀行未來10年以上的業務發展。

對東莞銀行來說,這是一個皆大歡喜的結局。但故事並非一開始就注定會以Happy ending結束,這背後參雜的矛盾、掙紮和抉擇,雖然往往被掩蓋在成功的喜悅和贊譽之下,但卻是最值得我們去挖掘和深思的。

上線前夜 驚險一幕

時隔四個月,再度回憶6月7日的驚魂一晚,東莞銀行核心項目群建設的大項目經理金喆依然心有餘悸:“我當時心都快跳出來了。”

東莞銀行新核心項目群大項目經理 金喆

6月6日,東莞銀行新一代核心系統順利上線,並陸續對外開放銀聯和網聯交易,一切都很正常。

6月7日16:00,核心系統突然出現部分交易緩慢的現象,緊接著大量交易超時失敗,情況持續了1分多鐘後,又逐漸自動恢複正常。

“明天就是新系統正式開門營業的第一天,今天這個問題雖然一閃而過,但明天又出現可怎麼辦?今天是1分鐘,明天萬一是1小時呢!”想想就令人心驚。

問題出現後,東莞銀行和系統承建商長亮科技的項目組同事立即行動,從業務層和平台層兩方面分別進行問題排查。

18:00,故障被定位在平台與數據庫的連接方面。

但具體是什麼原因引起的呢?大家開會討論給出幾個假設:平台配置錯誤?平台BUG?數據庫網絡問題?有了這幾個假設後,大家又開始分頭行動。

時間在一分一秒過去,問題仍沒有確認,長亮科技東莞銀行新核心建設項目的負責人老謝,一顆心越繃越緊。他覺得不能再等了,必須立即與深圳研發部聯系,盡快安排技術專家到現場,同時將問題上報給長亮科技核心業務總經理魏鋒。

長亮科技東莞銀行新核心建設項目負責人 老謝

21:00,魏鋒打來電話,說他開車把平台專家葉工從深圳送到項目現場。

當晚台風來襲,天氣異常惡劣,深更半夜,路更是難走,但時間不等人,魏鋒帶著葉工連夜從深圳冒暴雨趕赴項目現場。

淩晨1:00,魏鋒和葉工終於到達項目組。葉工立刻去分析平台的參數配置及日志,魏鋒和其他人坐在一起討論可能出現的風險和應對方案。

淩晨3:00,從數據庫DBA那邊得到消息,已經找到了引發這個故障的具體原因,是數據庫采用了新特性引發的連接中斷,在場的所有項目人員這一刻才如釋重負。

6月8日早上9:00,東莞銀行新一代核心系統如期迎來它的第一個工作日。

所有技術人員嚴陣以待,聚集在指揮室盯著大屏幕上的數據監測平台。當交易量到達峰值開始回落後,大家都暗暗松了一口氣,東莞銀行新核心系統的表現非常平穩,性能相較以前大幅提升,可以說交出了一份優秀答卷。

曆時598個日日夜夜

共計1502位參與建設者

新建19個系統,93個配套改造系統

……

這不是一個個冰冷的數字,而是在熱切述說著東莞銀行新核心建設一路走來的艱辛與曲折。

6月7日 項目組成員徹夜未眠

東莞銀行“心病”從何而來

時間回溯到2018年。

彼時,東莞銀行老版核心系統年代久遠,運行中積累下來的問題越來越多,已漸漸成為東莞銀行領導層共同的一塊“心病”。

而行業大環境在那幾年也發生了翻天覆地的變化,數字化轉型已成為傳統銀行發展路徑上無法繞過的一座大山,而“分布式架構”則是這場勢在必行的攀登過程中所遇到的第一個陡峰。

提到“分布式架構”,不可不說的就是“集中式架構”。

有這樣一個形象的比喻,集中式架構就是把存儲和計算能力都集中在一台超級計算機上,像一個巨大的航空母艦,甲板上塞滿了各種武器,火力超強;分布式架構則截然不同,是用很多小服務器組成存儲和計算集群,像一群護衛艦,各自擁有艦載武器,編制成一個很能打的戰鬥軍團。

隨著互聯網時代的來臨,銀行各類外圍業務爆發式發展,核心系統需要對接的第三方系統越來越多,綜合業務系統變得越來越複雜,“集中式架構”的天然短板日益凸顯,這艘曾經所向披靡的航空母艦已難承受數字化發展之重,建設能夠支持海量客戶、具有彈性擴展能力、高效靈活的核心系統成為國內商業銀行必然且迫切的需要。

時勢造英雄,歷史舞台的聚光燈重新打在“分布式架構”身上,各大銀行爭先恐後開始分布式轉型的探索。

但陡峰往往伴隨著險崖,站在歷史選擇的三岔路口,東莞銀行科技部總經理尚大成心潮湧動。

東莞銀行科技部總經理 尚大成

“我們當然知道,核心系統的分布式轉型是數字化時代的最佳選擇。但更換核心系統面臨著極大的風險,需要投入多年的努力和巨大的資源。當時我行的舊版核心雖然年代久遠,但通過打補丁還可以再撐個4、5年。所以在最終決定換‘心’前,說我們沒有掙紮和猶豫是不可能的。”

轉機的出現也同樣在2018年,東莞銀行完成了全行的科技戰略規劃,明確發展重點是——服務化、平台化,即要采用新興技術來整理和規範行內的系統架構。那麼問題來了,如果使用頻率最高的核心系統做不到服務化,其他系統更新換代再快難道不是本末倒置嗎?

這是一個無法避開的問題,東莞銀行領導層明白,並且很快做出了決定:換“心”。

知易行難,即使已經有了成功的案例在前,但如同醫學上的換心手術面臨著極大的風險,銀行換“心”同樣不簡單。

第一個擺在眼前的難題就是,需要一位技術高超的手術主刀醫生。

調研取經 要換就換最好的“心”

這時,東莞銀行把目光投到到微眾銀行身上。

早在2014年微眾銀行剛成立,因分布式架構與其互聯網銀行的全新理念高度契合,微眾銀行選擇了長亮科技為其提供的能夠滿足兩高(高性能、高彈性)一低(低成本)需求的核心系統,演繹了分布式核心系統在銀行應用的佳話。

長亮科技?這不老熟人嗎!

故事講到這裏,不得不聊一下東莞銀行和長亮科技的淵源。

長亮科技是中國老牌的金融科技服務商,在銀行核心系統領域尤其見長,他們擁有很多經驗豐富的老師傅,形象來說就像施工隊,他們熟悉各種金融領域的軟件和架構的特性,負責把各種金融系統完整地部署、交付給銀行。

早在2006年,東莞銀行為達成業務上的交易核算分離,進行了扁平化改造,當時采用的就是長亮科技自主研發的銀行核心系統SunLtts V3;隨後在2012年,雙方再次達成合作,東莞銀行采用長亮科技新一代核心系統SunLtts V5,完成了數據庫平台更換,實現技術架構徹底轉型。

這兩次合作的結果都非常成功,雙方的“革命情誼”自此建立起來。

時值東莞銀行謀求分布式轉型之際,長亮科技也在密謀搞個大事情。在推出SunLtts V7後,長亮科技高層已經預見到“分布式架構”是大勢所趨,作為中國金融科技龍頭企業,必須首先沖鋒占領這個“山頭”。

“當時我們已經在進行SunLtts V8的研發,采用的是‘微服務+單元化’架構,這在國內是首創型的技術創新,壓力和困難都非常大,但我們從未想過退卻,因為大家都堅信能創造歷史!”

老謝談到那時的雄心壯志,隱隱的激動之情依然藏不住。

但SunLtts V8最終能否成為改寫銀行業歷史的那顆“心”髒,還需要通過一場“換心手術”來證明。

一拍即合!東莞銀行與長亮科技在核心系統領域的第三次合作機遇,冥冥之中如命運般不期而至。

“SunLtts V8契合業內未來的發展方向,雙方在從前合作的基礎上,彼此了解和信任,因此我們最終下定了決心,要換就換最新、最先進的版本!”

這場換“心”手術不簡單

2018年8月,東莞銀行核心項目群建設領導小組正式成立。

“項目群的目標不光是換核心系統那麼簡單,而是通過核心系統升級建立全行級的交易核算體系,統一行內規範和標准,完善技術架構體系。”

當時作為項目群的項目經理,金喆時常感到“亞曆山大”。

這場換“心”手術已經提上日程,但距離正式上手術台,還有一段很長的路要走,因為術前的准備工作,往往才是一場手術成敗的關鍵所在。

金喆明白,此時的東莞銀行還未做好萬全的准備,但全項目組的人心中都有著一個共同的信念:路雖遠行則將至,事雖難做則必成。

這句話後來也一直在擺在金喆的辦公桌上,用以時時激勵自己。

抱著這樣的信念,項目組成員開始奔赴全國各地向已有經驗的同行進行取經。這趟“取經之旅”收獲頗豐,大家意識到這個項目的實施模式跟以前完全不同,紮實的技術基礎和人才儲備是項目推進必不可少的動力之一。

猶如漫天大霧中,遠處亮起了朦朧的燈光,大家終於找到了前進的方向。

2019年1月,東莞銀行核心項目群啟動會召開

2月,全面啟動核心系統需求分析及設計

5月,完成核心及外圍配套系統改造方案設計

8月,完成關鍵系統開發聯調

9月,啟動數據遷移測試

……

日子一天天流逝,眼看距離目標上線的時間越來越近,項目組內的氣氛也日益緊張,每個人心中都繃緊著一根弦,不到最後誰也不敢放松。

時間很快來到2020年3月,東莞銀行正式啟動投產演練。

“提前兩個月准備演練,也算是為投產做最後的測試工作,目的就是上線過程中的所有問題提前暴露。”

金喆一語道出投產演練的重要性。

可以說,沒有演練的過程,上線是不可想象的。尤其對東莞銀行這種包含19個新建系統、93個配套改造系統的項目群來說,演練更是整個項目中一個不可或缺的階段,上線前暴露和解決的問題越多,上線時突發的問題就越少。

投產演練前後共進行了五輪,前三輪以技術驗證、業務驗證為主,最後一輪嚴格按照上線的計劃時間,全行所有網點的操作人員共同參與實戰模擬投產。

在全行一心的一遍遍的“死磕”下,演練的結果不負眾望,新核心系統的運行情況良好,基本達到了預期目標。

手術刀、主刀醫生、新心髒都已就位,接下來就是見證歷史的時刻了。

2020年6月6日,經過20個月緊鑼密鼓的前期籌備,東莞銀行新一代核心系統上線在即。

按照跟銀監會和中國人民銀行報備的時間,東莞銀行升級核心系統的上限是67小時。也就是說,從銀行暫停服務的那一秒開始,到新一代核心系統成功上線,所有服務重啟的那一秒為止,中間不可以超過67小時。

這是一場與時間賽跑的換“心”手術,整整兩年的努力,成敗在此一舉。

老版核心這艘運行多年的航空母艦,猶如燃料耗盡後逐漸熄滅了引擎。新一代核心系統按照既定的手術程序,一步步完成遷移和複核,最終被順利安放到東莞銀行這個龐大的身軀中,一切塵埃落定。

“咚咚咚……”

新核心緩緩重啟,如同新生兒強有力的心跳聲,鼓舞著在場每一個為這一天的到來付出了無數汗水和努力的人們。

整個遷移、業務驗證和系統恢複的全過程,僅僅用了39個小時。

窗外,晨曦的的第一道光線劃破暗夜,太陽要升起來了。

東莞銀行新核心項目團隊慶功合影

從“心”出發

在傳統銀行面對“分布式架構”還舉棋不定的時候,東莞銀行已經率先完成了這場換“心”手術,開啟了中國銀行業核心系統發展的新紀元。

東莞銀行一時成為“業內明星”,長亮科技首創的“微服務+單元化”架構也被各界熱議。

“結合項目啟動前制定的目標來看,V8系統的穩定性、安全性和可靠性是完全滿足我行需求的。我們最看重新核心的特色是‘微服務+單元化’,這個技術架構在今後10年,不敢說絕對的先進,但至少不會落伍。”

金喆對東莞銀行新核心的發展前景信心很足。

但完成核心系統的升級建設,只是在數字化轉型的征途中剛剛邁出一小步,前方依然有著無數的陡峰和險崖等待去征服。

談及未來,尚大成的眼神很堅定,“新一代核心系統成功上線,是一個新的起點,為今後的工作打下了堅實基礎。下一步圍繞科技能力提升、數字化轉型,東莞銀行將持續推動科技與業務深度融合,為業務發展保駕護航。”

是的,東莞銀行的故事還遠遠沒有結束,中國銀行業的歷史也在等待著下一次被重新書寫,從“心”出發,未來可期!