More  

小編的世界 優質文選 資料

5分鐘學會如何玩轉雲數據庫組件(遷移,審計,訂閱)


2021年6月18日 - 資料小編 彈弓科技 
   

彈弓科技

北京彈弓科技有限公司官方帳號

不小心刪除公司數據,會怎麼樣?

如果你經常關注知乎,就會發現,這個問題經常出現在你的feeds流裏面,時長都會有各式各樣的“刪庫到跑路”事件發生。不管是傳統數據庫或者是雲數據庫,總會遇到一些問題,比如數據遷移,比如數據風險安全,比如數據訂閱!今天我將分享一篇文章,談談雲數據庫的優勢,談談騰訊雲在這方面的努力。看看騰訊雲怎麼通過技術手段來確保數據庫安全穩定,和快捷遷移,以及推動數據商業分析的。

傳統數據庫與雲數據庫

傳統數據庫

傳統企業在建設數據庫初期,不僅建設服務器,還要保證數據庫能夠穩定和可靠的運行。當業務數據增長到一定大小的時候,就需要增加服務器CPU及內存以及磁盤相關資源。為了保證服務器的穩定性,還需要制定相關制度及體系,定制數據庫的架構,防止數據庫被攻擊,確保數據庫安全穩定。搜索關注“騰訊雲數據庫”官方微信立得10元騰訊雲無門檻代金券,體驗移動端一鍵管理數據庫,學習更多數據庫技術實戰教程。

雲數據庫

那麼雲數據庫有哪些優勢呢?首先雲數據庫提供PCI-e SSD硬盤,性能能達到245509 QPS。雲數據庫同時提供了

MySQL

SQL server

Mariadb

PostgerSQL

等數據庫引擎。企業可以根據不同的業務需求,使用不同的數據庫進行操作。同時,雲數據庫提供了統一的WEB管理工作台,相對於傳統數據庫,更能容易部署和管理數據庫。為了保證數據庫的可用性,雲數據庫支持主從實時熱備,提供容災、備份、恢複、監控、遷移等功能。隨著業務的發展,業務需要更大和更強勁的數據庫時,只需要購買所需的資源,就能快速平滑擴容業務數據庫,滿足業務發展需要。

騰訊是開源數據庫白金級贊助商,騰訊對開源數據庫做了大量優化。這些數據庫支撐著騰訊大量交易系統的運行,騰訊雲數據庫有統一的管理平台,不論選擇怎樣的數據庫,都能方便快捷的管理。

數據庫SaaS服務體系

數據SaaS服務涵蓋用戶從上雲,日常運維使用,

數據安全審計

,及

訂閱商業分析。

騰訊雲數據庫讓您可以輕松在雲端部署、使用數據庫。通過雲數據庫MySQL,您在幾分鐘內即可部署可擴展的數據庫實例。不僅經濟實惠,而且可以彈性調整硬件容量的大小而無需停機。TencentDB for MySQL 提供備份回檔、監控、快速擴容、數據傳輸等數據庫運維全套解決方案。搜索關注“騰訊雲數據庫”官方微信立得10元騰訊雲無門檻代金券,體驗移動端一鍵管理數據庫,學習更多數據庫技術實戰教程。為您簡化 IT 運維工作,讓您能更加專注於業務發展。

數據庫遷移

數據傳輸服務(Data Transmission Serivce DTS)

提供數據遷移、數據同步、數據訂閱於一體的數據庫數據傳輸服務,幫助您在業務不停服的前提下輕松完成數據庫遷移,利用實時同步通道輕松構建異地容災的高可用數據庫架構。數據傳輸服務DTS的目標是幫用戶將複雜的數據交互工作承擔下來,讓用戶可以專注於上層的業務開發。

數據遷移

支持不同環境及不同類型的數據庫遷移。支持遷移的源庫包括有公網IP的外網自建數據庫,通過V**、專線等網絡環境接入騰訊雲的自建數據庫,雲服務器

CVM

自建數據庫;目標庫為TencentDB for MySQL實例。支持查看所有遷移任務的狀態及多任務批量操作。

DTS

提供的數據遷移功能是您數據上雲的的最佳選擇。數據遷移僅需幾步設置,則可幫助您完成數據從本地遷移上雲的一系列繁瑣工作。遷移過程中並不影響源數據庫繼續對外提供服務,最小化上雲過程對您業務的影響。

提供自建 MySQL 數據庫到雲數據庫 TencentDB for MySQL 的連續數據複制,用戶可在不停服的情況下對數據進行在線熱遷移,支持具有公網 IP/Port 或專線接入騰訊雲的本地 IDC 或騰訊雲雲服務器 CVM 上 MySQL 數據庫遷移。

實例有關聯災備實例暫不支持數據傳輸服務,請建工單進行遷移。(通過增量遷移的時間建議不超過15天,請確保主從追上之後單擊遷移完成按鈕。)

Redis

遷移

在線遷移工具暫不支持的遷移類型:主從版、集群版、自研CKV+引擎 三者實例間的遷移。

遷移注意事項

目前僅支持遷移到騰訊雲 redis 的主從版本;為保障遷移效率,CVM 自建實例遷移不支持跨地域遷移;由於 rdb 協議限制,暫不支持自建實例 redis 3.2 版本的遷移;外網實例遷移時,請確保源實例服務在外網環境下可訪問;進行遷移任務時,只允許遷移正常運行狀態下的實例,且未初始化密碼或者有其他任務在執行中的實例,是不能夠遷移的;目的實例必須是沒有數據的空實例,遷移過程中,會鎖住實例,不能對實例進行寫入操作;遷移成功時,由業務側驗證數據後,可斷開源實例連接,將連接切換到目標實例。

PostgreSQL 數據庫遷移

數據傳輸服務 DTS 支持數據遷移功能,提供自建 PostgreSQL 數據庫到雲數據庫TencentDB for MySQL的連續數據複制,用戶可在不停服的情況下對數據進行在線熱遷移,支持具有公網 IP/Port 或專線接入騰訊雲的本地 IDC 或騰訊雲雲服務器 CVM 上 PostgreSQL 數據庫遷移。數據遷移目前只支持 PostgreSQL 數據庫的版本是9.3.x,9.5.x,同時9.3.x 不支持增量同步,9.5.x 需要通過在線同步插件才能支持。搜索關注“騰訊雲數據庫”官方微信立得10元騰訊雲無門檻代金券,體驗移動端一鍵管理數據庫,學習更多數據庫技術實戰教程。

數據庫審計

數據庫審計是騰訊雲為了解決行業客戶遇到的諸如金融審計需求,以及實際運行中遇到的安全防護,SQL 延遲性能問題等多種綜合需求而提供的產品。

全面審計

數據庫訪問的全部記錄,最大程度滿足用戶審計需求,可追溯對應用者的身份和行為;准確審計:用戶可設置規則,只保證規則匹配到的審計規則有數據保存,規則也可以設置為全量審計;提供海量 TB 級數據存儲,可以後續根據用戶要求提供長期備份。

高效審計

與目前其他通過旁路做審計檢查方式不同,騰訊雲數據庫 TencentDB for MySQL 通過內核插件進行上報;後期還會逐步增加實時阻隔功能,另外在實際測試影響性能不到 2%;高效分析:提供用戶、IP、客戶端工具、訪問時間、操作對象、SQL 操作類型、成功與否、訪問時長、影響行數等多種檢索條件的快速分析與檢索,實測 30 多億級數據 6-8 秒內響應。

背景說明

管理風險

系統管理員存在的誤操作、違規操作、越權操作,損害業務系統安全運行;

多人公用一個帳號,責任難以分清;

第三方開發維護人員的誤操作,惡意操作和篡改;

超級管理員權限過大,無法審計監控。

技術風險

應用系統開發商後門或漏洞;

離職員工留下後門。

政策風險

無法達到國家等級保護(三級)明確要求(7.1.3.3);

滿足不了行業信息安全合規性文件要求——如人行《金融行業信息系統信息安全等級保護實施指引》;

數據訂閱

數據傳輸服務 DTS 提供了基於 binlog 的增量數據訂閱功能,僅需幾步簡單操作,即可訂閱雲數據庫 TencentDB for MySQL 的增量更新數據:

在騰訊雲 DTS 控制台購買並創建 TencentDB for MySQL 實例的訂閱通道。使用 DTS 數據訂閱 SDK 連接這個訂閱通道,訂閱並消費增量數據。

原理

我們會通過模擬從庫向主庫獲取對應 binlog 內容進行分析,大概架構圖如下,我們會通過解析 binlog ,按照訂閱通道配置的庫表進行分析,所以幾乎對主庫沒有影響。
搜索關注“騰訊雲數據庫”官方微信立得10元騰訊雲無門檻代金券,體驗移動端一鍵管理數據庫,學習更多數據庫技術實戰教程。

注意:

目前我們對訂閱的消息內容默認會保留最近 3 天。另外如果訂閱整庫的話,後續新增的表也是會在原有訂閱通道出現,不需要對原訂閱通道進行新增配置操作。目前只支持 TencentDB for MySQL5.6,後續會很快支持 TencentDB for MySQL5.7。數據訂閱暫不支持view,觸發器和外鍵。數據訂閱初次配置需要對相關 binlog_row_image 參數做調整,會根據符合條件自動 kill 老的 session 使參數立即生效。數據訂閱目前支持的字符集包括 latin1,utf8,utf8mb4。

總結

未來的雲數據庫將會成為企業IT架構的“水,電,煤”,可以按需快速啟動,支持各種類型的數據,滿足所有種類的業務,無限存儲,無服務器,全智能,自驅動,零運維,閑時免費,覆蓋全球並能自動擴展到近用戶端,提供穩定可靠自由擴展的服務,騰訊雲數據庫將不懈的努力將更多的產品能力普惠世界。

https://curl.qcloud.com/UY1NKOOU

騰訊雲618雲上GO!雲服務器限時秒殺,1核2G首年95元!

https://cloud.tencent.com/act/cps/redirect?redirect=1443&cps_key=08ef87820e2a4b189cf667a69e783f24&from=console

  大家在看