A-Tune-Online: Efficient and QoS-aware Online Configuration Tuning  for Dynamic Workloads

作者：Yu Shen, Beicheng Xu, Yupeng Lu, Donghui Chen, Huaijun Jiang, Zhipeng Xie, Senbo Fu, Nan Zhang, Yuxin Ren, Ning Jia, Xinwei Hu, Bin Cui

Github鏈接：https://github.com/PKU-DAIR/A-Tune-Online

1. 問題背景與動(dòng)機(jī)

現(xiàn)代在線服務(wù)（如數(shù)據(jù)庫、編譯器,、分布式系統(tǒng)等）需要處理動(dòng)態(tài)變化的負(fù)載,，例如白天以交互式查詢?yōu)橹鳎归g轉(zhuǎn)為批量處理任務(wù),，或突發(fā)流量導(dǎo)致的負(fù)載波動(dòng),。傳統(tǒng)靜態(tài)調(diào)優(yōu)方法假設(shè)負(fù)載固定，無法適應(yīng)這種動(dòng)態(tài)性,，導(dǎo)致歷史最優(yōu)配置在新負(fù)載下性能下降甚至失效,。因此，在線配置調(diào)優(yōu)系統(tǒng)需要滿足三個(gè)核心目標(biāo)：動(dòng)態(tài)性（快速適應(yīng)負(fù)載變化）,、效率（低調(diào)優(yōu)開銷）和QoS保障（避免性能劣化）,。然而，現(xiàn)有在線調(diào)優(yōu)方法因未能有效解決歷史數(shù)據(jù)干擾和負(fù)載變化檢測(cè)問題,，在實(shí)際場(chǎng)景中表現(xiàn)不佳,。

現(xiàn)有在線調(diào)優(yōu)方法主要分為兩類：一類（如Rover[1]、Online-Tune[2]）假設(shè)負(fù)載變化微小,，持續(xù)復(fù)用全部歷史觀測(cè)數(shù)據(jù)優(yōu)化,，但不同負(fù)載的性能特征可能差異極大甚至負(fù)相關(guān)，導(dǎo)致當(dāng)前調(diào)優(yōu)被誤導(dǎo),，收斂效率低下,；另一類（如OnlineTune[3]）嘗試通過無監(jiān)督聚類分割歷史數(shù)據(jù)，但聚類準(zhǔn)確性有限,，誤分類的觀測(cè)數(shù)據(jù)仍會(huì)污染模型,。此外，這些方法缺乏顯式且魯棒的負(fù)載變化檢測(cè)機(jī)制,。

在線負(fù)載通常具有周期性或階段性穩(wěn)定的特點(diǎn)（如一種負(fù)載持續(xù)運(yùn)行一段時(shí)間后切換）,，A-Tune-Online的核心思路是：通過多階段負(fù)載檢測(cè)精準(zhǔn)觸發(fā)優(yōu)化重啟，隔離不相關(guān)歷史數(shù)據(jù),；結(jié)合相似任務(wù)知識(shí)遷移加速重啟后的收斂,；并利用置信區(qū)間構(gòu)建安全區(qū)域保障QoS。實(shí)驗(yàn)表明,，其負(fù)載切換檢測(cè)準(zhǔn)確率和最終性能均顯著優(yōu)于現(xiàn)有方法,。

2. 在線調(diào)優(yōu)流程

圖1. A-Tune-Online系統(tǒng)流程圖

（1）流程概述

如圖1所示，A-Tune-Online的在線調(diào)優(yōu)流程是一個(gè)基于環(huán)境感知的動(dòng)態(tài)優(yōu)化系統(tǒng),。系統(tǒng)通過客戶端持續(xù)采集兩類關(guān)鍵環(huán)境變量：一類是通用系統(tǒng)指標(biāo),，包括CPU利用率,、內(nèi)存使用率等基礎(chǔ)資源指標(biāo)；另一類是應(yīng)用特定指標(biāo),，如Spark執(zhí)行器的任務(wù)執(zhí)行時(shí)間,、數(shù)據(jù)庫查詢類型分布等。這些環(huán)境變量通過日志文件采集,，既保證了數(shù)據(jù)的可獲取性,，又避免了涉及隱私的高層信息泄露。

在服務(wù)器端,，系統(tǒng)以環(huán)境變量為核心構(gòu)建了完整的調(diào)優(yōu)閉環(huán),。每次迭代時(shí)，服務(wù)器接收客戶端上傳的環(huán)境變量和性能數(shù)據(jù),，并將其存入歷史數(shù)據(jù)庫,。① 系統(tǒng)首先采用多指標(biāo)多階段負(fù)載檢測(cè)器來分析環(huán)境變量的變化：先通過基于規(guī)則的方法快速檢測(cè)潛在變化，再通過回放驗(yàn)證確保檢測(cè)準(zhǔn)確性,。當(dāng)環(huán)境變量顯示負(fù)載發(fā)生顯著變化時(shí),，系統(tǒng)會(huì)觸發(fā)重啟優(yōu)化流程。② 此時(shí)基于機(jī)器學(xué)習(xí)相似性的雙預(yù)熱啟動(dòng)機(jī)制會(huì)從歷史數(shù)據(jù)中篩選最相似的任務(wù)環(huán)境特征,，為新一輪優(yōu)化提供熱啟動(dòng),。之后 ③ 若環(huán)境變量未顯示顯著變化，則使用置信下界增強(qiáng)的QoS感知貝葉斯優(yōu)化,，基于當(dāng)前環(huán)境特征構(gòu)建概率隨機(jī)森林模型,，該模型能同時(shí)考慮配置參數(shù)和環(huán)境變量的交互影響，從而生成既安全又高效的配置推薦,。

（2）多指標(biāo)多階段負(fù)載檢測(cè)器

這一設(shè)計(jì)直接針對(duì)現(xiàn)有方法負(fù)載檢測(cè)精度不足的問題,。通過結(jié)合規(guī)則基檢測(cè)和回放基檢測(cè)，系統(tǒng)既能快速響應(yīng)潛在變化,，又能通過回放驗(yàn)證確保檢測(cè)準(zhǔn)確性,。這種高精度的檢測(cè)機(jī)制為后續(xù)優(yōu)化提供了可靠的基礎(chǔ)，避免了不必要的重啟或遺漏關(guān)鍵變化,。當(dāng)檢測(cè)到負(fù)載變化后,，系統(tǒng)會(huì)觸發(fā)優(yōu)化重啟。

A-Tune-Online采用了一種創(chuàng)新的多階段負(fù)載變化檢測(cè)機(jī)制,，以應(yīng)對(duì)動(dòng)態(tài)工作負(fù)載帶來的調(diào)優(yōu)挑戰(zhàn),。該系統(tǒng)首先通過一個(gè)基于多指標(biāo)規(guī)則的高精度檢測(cè)器進(jìn)行初步判斷,，只有當(dāng)所有預(yù)設(shè)指標(biāo)（如CPU利用率,、內(nèi)存使用率等系統(tǒng)指標(biāo)和特定應(yīng)用指標(biāo)）都一致表明負(fù)載變化時(shí)，才會(huì)觸發(fā)變化信號(hào),。這種"全票通過"的設(shè)計(jì)理念顯著降低了誤報(bào)率,，確保只有在負(fù)載確實(shí)發(fā)生變化時(shí)才重啟優(yōu)化過程,。

當(dāng)?shù)谝浑A段的保守檢測(cè)未能達(dá)成一致判斷但部分指標(biāo)顯示異常時(shí)，系統(tǒng)會(huì)啟動(dòng)更精確但計(jì)算成本較高的回放式檢測(cè)作為第二道防線,。這種分階段的設(shè)計(jì)既保證了檢測(cè)的實(shí)時(shí)性,，又通過逐步深入的驗(yàn)證確保了結(jié)果的可靠性。檢測(cè)過程中,，系統(tǒng)運(yùn)用了嚴(yán)密的數(shù)學(xué)理論來保證多指標(biāo)聯(lián)合判斷的精度下限,，并通過精心選擇的指標(biāo)組合來進(jìn)一步提升檢測(cè)性能。一旦任一階段確認(rèn)負(fù)載變化,，系統(tǒng)就會(huì)立即終止當(dāng)前優(yōu)化過程,，并針對(duì)新負(fù)載啟動(dòng)全新的調(diào)優(yōu)流程。

這種多階段檢測(cè)策略的創(chuàng)新之處在于：它通過規(guī)則基檢測(cè)的快速篩選和回放檢測(cè)的精確驗(yàn)證相結(jié)合,，在保證高精度的同時(shí)兼顧了召回率,，有效解決了傳統(tǒng)方法在動(dòng)態(tài)負(fù)載場(chǎng)景下要么過于敏感（導(dǎo)致頻繁無效重啟）、要么過于遲鈍（錯(cuò)過重要變化）的兩難問題,。實(shí)驗(yàn)證明,，該檢測(cè)機(jī)制能準(zhǔn)確識(shí)別各種類型的負(fù)載變化，為后續(xù)的優(yōu)化重啟決策提供了可靠依據(jù),。

（3）基于相似性的雙預(yù)熱啟動(dòng)機(jī)制,。

A-Tune-Online采用了一種基于任務(wù)相似性的熱啟動(dòng)策略來優(yōu)化重啟過程，當(dāng)檢測(cè)到負(fù)載變化時(shí),，系統(tǒng)會(huì)立即啟動(dòng)新調(diào)優(yōu)任務(wù),，并針對(duì)不同相似度采取差異化的預(yù)熱策略，既充分利用了相似任務(wù)的知識(shí)加速收斂,，又有效隔離了不相似任務(wù)帶來的負(fù)面影響,。這一設(shè)計(jì)使得系統(tǒng)在重啟后平均僅需15.6次迭代即可收斂，大大提升了調(diào)優(yōu)效率,。

系統(tǒng)首先構(gòu)建了一個(gè)基于環(huán)境向量的任務(wù)相似性預(yù)測(cè)模型,，該模型采用LightGBM回歸器，通過分析隨機(jī)配置在歷史任務(wù)中的表現(xiàn)排序一致性（Kendall-tau相關(guān)系數(shù)）來量化任務(wù)相似度,。

在具體實(shí)施時(shí),，系統(tǒng)采用兩級(jí)漸進(jìn)式預(yù)熱機(jī)制：第一級(jí)配置預(yù)熱會(huì)選取相似度最高的5個(gè)歷史任務(wù)，將其最優(yōu)配置作為新任務(wù)的初始候選,；第二級(jí)模型預(yù)熱則僅在最高相似度超過0.65閾值時(shí),，直接復(fù)用相似任務(wù)的代理模型進(jìn)行前10次迭代的配置推薦。這種雙重機(jī)制既充分利用了高相似任務(wù)的知識(shí),，又通過嚴(yán)格的相似度閾值避免了低質(zhì)量遷移,。實(shí)驗(yàn)數(shù)據(jù)顯示，相似度高于0.65的代理模型在前10次迭代中預(yù)測(cè)準(zhǔn)確性顯著優(yōu)于新建模型,，而10次迭代后新建模型逐漸成熟,，此時(shí)系統(tǒng)自動(dòng)切換為基于當(dāng)前任務(wù)觀測(cè)的純BO優(yōu)化,。

為確保魯棒性，當(dāng)訓(xùn)練數(shù)據(jù)不足時(shí),，系統(tǒng)會(huì)降級(jí)使用歐氏距離進(jìn)行任務(wù)匹配,，并禁用模型級(jí)預(yù)熱，這種設(shè)計(jì)使得A-Tune-Online能夠在最差情況下退化為標(biāo)準(zhǔn)BO性能,。整個(gè)預(yù)熱過程結(jié)束后,，系統(tǒng)將完全依賴當(dāng)前任務(wù)的觀測(cè)數(shù)據(jù)，確保不相似任務(wù)的負(fù)面影響不會(huì)持續(xù)存在,。

（4）置信下界增強(qiáng)的QoS感知貝葉斯優(yōu)化,。

為確保調(diào)優(yōu)過程的安全性，系統(tǒng)引入了QoS感知機(jī)制,，傳統(tǒng)貝葉斯優(yōu)化在探索新配置時(shí)可能造成性能下降,，而該系統(tǒng)通過構(gòu)建基于置信下界的安全區(qū)域，將采樣限制在性能有保障的范圍內(nèi),，完全避免了QoS違規(guī),。

系統(tǒng)通過構(gòu)建預(yù)測(cè)置信下界來量化每個(gè)配置的安全程度?；诖?，系統(tǒng)動(dòng)態(tài)維護(hù)一個(gè)安全區(qū)域，僅包含那些預(yù)測(cè)下界超過預(yù)設(shè)閾值δ的配置（δ通常設(shè)為默認(rèn)配置性能水平）,。在每輪迭代中,，優(yōu)化器會(huì)從安全區(qū)域內(nèi)選擇預(yù)期改進(jìn)最大的配置進(jìn)行測(cè)試，而非全局最優(yōu)配置,。

這種機(jī)制具有雙重優(yōu)勢(shì)：隨著觀測(cè)數(shù)據(jù)積累,，安全區(qū)域會(huì)自適應(yīng)擴(kuò)展，既避免了早期盲目探索高風(fēng)險(xiǎn)區(qū)域,，又不會(huì)永久限制搜索空間,。實(shí)驗(yàn)表明，該方法能在保證零QoS違規(guī)的前提下,，實(shí)現(xiàn)與無約束優(yōu)化相當(dāng)?shù)淖罱K性能,，解決了在線調(diào)優(yōu)中安全與探索的根本矛盾。

3. 實(shí)驗(yàn)結(jié)果

A-Tune-Online在5個(gè)典型場(chǎng)景（MySQL,、Redis,、Kafka、UnixBench和Spark）進(jìn)行評(píng)測(cè),，通過周期切換12-36種不同負(fù)載模擬真實(shí)動(dòng)態(tài)環(huán)境,。系統(tǒng)從應(yīng)用日志提取10維（Kafka）至67維（MySQL）環(huán)境向量，每10分鐘采集性能數(shù)據(jù)并推薦新配置，最多評(píng)估40個(gè)配置,。對(duì)比基線包括GP-BO、TPE,、OnlineTune等5種調(diào)優(yōu)方法,，測(cè)試平臺(tái)為96核CPU/100G內(nèi)存服務(wù)器。實(shí)驗(yàn)指標(biāo)涵蓋吞吐量（rps/lps）和運(yùn)行時(shí)等關(guān)鍵性能參數(shù),。

圖2. 無歷史數(shù)據(jù)實(shí)驗(yàn)結(jié)果

圖3. 有歷史數(shù)據(jù)實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)首先在無歷史知識(shí)的情況下評(píng)估各調(diào)優(yōu)算法的表現(xiàn),，如圖2所示。當(dāng)所有方法都從零開始時(shí),，基于貝葉斯優(yōu)化的方法（如GP-BO,、TPE）在初始階段表現(xiàn)優(yōu)于強(qiáng)化學(xué)習(xí)方法（DDPG+和QTune），這與前人研究中關(guān)于強(qiáng)化學(xué)習(xí)需要更多初始配置的結(jié)論一致,。隨著時(shí)間推移,，A-Tune-Online和OnlineTune憑借對(duì)動(dòng)態(tài)負(fù)載的處理能力逐漸拉開差距。關(guān)鍵數(shù)據(jù)顯示,，A-Tune-Online在MySQL和Redis場(chǎng)景中分別實(shí)現(xiàn)了0.88和0.81的負(fù)載分類準(zhǔn)確率,，顯著高于OnlineTune的0.59和0.57，這使其能有效利用97%的相關(guān)歷史觀測(cè)數(shù)據(jù),，避免不相似負(fù)載的干擾,。相比之下，OnlineTune由于依賴不穩(wěn)定的無監(jiān)督聚類,，性能受到明顯限制,。

如圖3，在有歷史知識(shí)的情況下,，實(shí)驗(yàn)進(jìn)一步驗(yàn)證了各方法利用先驗(yàn)信息的能力,。預(yù)先使用標(biāo)準(zhǔn)BO為每個(gè)場(chǎng)景構(gòu)建歷史數(shù)據(jù)庫后，A-Tune-Online展現(xiàn)出更快的收斂速度,。在涵蓋MySQL,、Redis等五大場(chǎng)景的測(cè)試中，該系統(tǒng)相比OnlineTune和DDPG+分別實(shí)現(xiàn)了2.86%-13.20%和4.68%-13.18%的性能提升,。特別值得注意的是,，在Spark任務(wù)中僅用5次迭代就找到近優(yōu)配置，證明其相似任務(wù)匹配機(jī)制的有效性,。效率指標(biāo)顯示,，達(dá)到相同性能水平時(shí)，A-Tune-Online平均比OnlineTune快2.9倍,，比DDPG+快1.72倍,。這些結(jié)果充分說明，系統(tǒng)設(shè)計(jì)的雙重?zé)釂?dòng)策略能智能區(qū)分負(fù)載相似度，在保證安全性的前提下最大化歷史知識(shí)的價(jià)值,。

表1.切換檢測(cè)召回率

此外,，A-Tune-Online的負(fù)載變化檢測(cè)機(jī)制在實(shí)驗(yàn)中展現(xiàn)出卓越的性能表現(xiàn)。如表1所示,，該系統(tǒng)的多階段檢測(cè)策略在五大測(cè)試場(chǎng)景中實(shí)現(xiàn)了76%-91%的召回率,，其中回放式檢測(cè)器平均提升了8%的召回性能。特別值得注意的是,，得益于保守設(shè)計(jì)原則,，所有場(chǎng)景下的檢測(cè)精度都達(dá)到了完美的100%，完全避免了誤報(bào)情況,。在檢測(cè)效率方面,，系統(tǒng)平均僅需觸發(fā)0.6次回放檢測(cè)（耗時(shí)約6分鐘），且大多數(shù)負(fù)載變化能在5次配置評(píng)估內(nèi)被準(zhǔn)確識(shí)別,。這些數(shù)據(jù)充分驗(yàn)證了系統(tǒng)設(shè)計(jì)的規(guī)則基檢測(cè)與回放基檢測(cè)相結(jié)合的策略,，既保證了檢測(cè)的及時(shí)性，又確保了判斷的準(zhǔn)確性,。

4. 總結(jié)

A-Tune-Online 是一種面向動(dòng)態(tài)工作負(fù)載的在線配置調(diào)優(yōu)系統(tǒng),，能夠同時(shí)實(shí)現(xiàn)高性能、高效率和 QoS 保障,。該系統(tǒng)通過多階段負(fù)載突變檢測(cè)（結(jié)合規(guī)則和重放檢測(cè)器）精準(zhǔn)識(shí)別工作負(fù)載變化,，并觸發(fā)優(yōu)化重啟以避免歷史不相關(guān)數(shù)據(jù)的干擾。為提高重啟后的優(yōu)化效率,，它采用熱啟動(dòng)技術(shù),，利用回歸模型匹配歷史相似負(fù)載并復(fù)用其配置或代理模型知識(shí)。此外,，系統(tǒng)通過維護(hù)安全區(qū)域并優(yōu)先推薦預(yù)期改進(jìn)最優(yōu)的配置來確保 QoS,。實(shí)驗(yàn)表明，A-Tune-Online 在多種場(chǎng)景下均能準(zhǔn)確檢測(cè)負(fù)載變化,、快速適應(yīng)新負(fù)載,，并提供比現(xiàn)有系統(tǒng)更優(yōu)的配置推薦和 QoS 保障。

參考文獻(xiàn)

1. Y. Shen, X. Ren, Y. Lu, H. Jiang, H. Xu, D. Peng, Y. Li, W. Zhang, and B. Cui, “Rover: An online spark sql tuning service via generalized transfer learning,” in Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, 2023, pp. 4800-4812.
2. Y. Li, H. Jiang, Y. Shen, Y. Fang, X. Yang, D. Huang, X. Zhang, W. Zhang, C. Zhang, P. Chen et al., “Towards general and efficient online tuning for spark,” Proceedings of the VLDB Endowment, vol. 16, no. 12, pp. 3570-3583, 2023.
3. X. Zhang, H. Wu, Y. Li, J. Tan, F. Li, and B. Cui, “Towards dynamic and safe configuration tuning for cloud databases,” in Proceedings of the 2022 International Conference on Management of Data, 2022, pp. 631-645.

實(shí)驗(yàn)室簡介

北京大學(xué)數(shù)據(jù)與智能實(shí)驗(yàn)室（Data And Intelligence Research Lab at Peking Univeristy,，PKU-DAIR實(shí)驗(yàn)室）由北京大學(xué)計(jì)算機(jī)學(xué)院崔斌教授領(lǐng)導(dǎo),，長期從事數(shù)據(jù)庫系統(tǒng)、大數(shù)據(jù)管理與分析,、人工智能等領(lǐng)域的前沿研究,，在理論和技術(shù)創(chuàng)新以及系統(tǒng)研發(fā)上取得多項(xiàng)成果，已在國際頂級(jí)學(xué)術(shù)會(huì)議和期刊發(fā)表學(xué)術(shù)論文100余篇,，發(fā)布多個(gè)開源項(xiàng)目,。課題組同學(xué)曾數(shù)十次獲得包括CCF優(yōu)博,、ACM中國優(yōu)博、北大優(yōu)博,、微軟學(xué)者,、蘋果獎(jiǎng)學(xué)金、谷歌獎(jiǎng)學(xué)金等榮譽(yù),。PKU-DAIR實(shí)驗(yàn)室持續(xù)與工業(yè)界展開卓有成效的合作,，與騰訊、阿里巴巴,、蘋果,、微軟,、百度,、快手、中興通訊等多家知名企業(yè)開展項(xiàng)目合作和前沿探索,，解決實(shí)際問題,，進(jìn)行科研成果的轉(zhuǎn)化落地。