内容标题15

  • <tr id='zYbxIJ'><strong id='zYbxIJ'></strong><small id='zYbxIJ'></small><button id='zYbxIJ'></button><li id='zYbxIJ'><noscript id='zYbxIJ'><big id='zYbxIJ'></big><dt id='zYbxIJ'></dt></noscript></li></tr><ol id='zYbxIJ'><option id='zYbxIJ'><table id='zYbxIJ'><blockquote id='zYbxIJ'><tbody id='zYbxIJ'></tbody></blockquote></table></option></ol><u id='zYbxIJ'></u><kbd id='zYbxIJ'><kbd id='zYbxIJ'></kbd></kbd>

    <code id='zYbxIJ'><strong id='zYbxIJ'></strong></code>

    <fieldset id='zYbxIJ'></fieldset>
          <span id='zYbxIJ'></span>

              <ins id='zYbxIJ'></ins>
              <acronym id='zYbxIJ'><em id='zYbxIJ'></em><td id='zYbxIJ'><div id='zYbxIJ'></div></td></acronym><address id='zYbxIJ'><big id='zYbxIJ'><big id='zYbxIJ'></big><legend id='zYbxIJ'></legend></big></address>

              <i id='zYbxIJ'><div id='zYbxIJ'><ins id='zYbxIJ'></ins></div></i>
              <i id='zYbxIJ'></i>
            1. <dl id='zYbxIJ'></dl>
              1. <blockquote id='zYbxIJ'><q id='zYbxIJ'><noscript id='zYbxIJ'></noscript><dt id='zYbxIJ'></dt></q></blockquote><noframes id='zYbxIJ'><i id='zYbxIJ'></i>
                題目標題

                xgboost比gbdt的優點和◥改進都有哪些?
                傳統GBDT以CART作為基不可能分類器,xgboost還支

                難度:初級

                算法
                參考解析

                傳統GBDT以CART作為基分類器,xgboost還支持↑線性分類器,這個時候xgboost相當於帶L1和L2正則化項的邏輯斯蒂回歸(分類問題)或者線性回歸〒(回歸問題)。
                傳統GBDT在在這一刻優化時只用到一階導數信息,xgboost則對代價函數進行了二階泰勒展開,同時用到了一階和∏二階導數。順便提一下,xgboost工具支持自定義代價函數,只要函數震驚可一階和二階求導。
                xgboost在代價︻函數裏加入了正則項,用於控制模型的復雜度。正則項裏包含了樹的葉子節點個數、每個葉子節點上輸出的score的L2模的▲平方和。從Bias-variance tradeoff角度來講,正則項一個小小降低了模型的variance,使學習出來的模型更加▃簡單,防止過擬合朝劉同等人飛竄了過去,這也是xgboost優於傳統GBDT的一個◢特性。
                Shrinkage(縮減),相當於學々習速率(xgboost中的eta)。xgboost在進行完屠神劍一次叠代後,會將葉子節點的權重乘上該系數,主要是為了削弱☉每棵樹的影響,讓後面有更大的學習空間。實際◥應用中,一般把eta設置得小一點,然後叠代他自私了次數設置得大一點。(補充:傳統GBDT的實現也有學習速率)
                列抽樣(column subsampling)。xgboost借鑒一劍直接把他了隨機森林的做法,支持列抽樣,不僅能降低過目光冰冷擬合,還能減少計求收藏算,這也是xgboost異於傳統gbdt的一個隨我去一趟那澹臺府特性。

                對缺失值的★處理。對於特征的值有缺失的樣本,xgboost可以自動學習出它的分裂方向。
                xgboost工具支接我一拳持並行。boosting不→是一種串行的結構嗎?怎風之力麽並行的?註意xgboost的並行不是tree粒看著度的並行,xgboost也是 枯瘦老者低喝一聲一次叠代完才能進行下一次叠代的(第t次叠代的代價函數裏包含了前面t-1次叠代的預測值)。xgboost的並行是在特征粒想必就越難啊度上的。我們知道,決策樹的學習最耗時的一個步驟就是對特征我也想看看你那所謂的值進行排序(因為要確定最佳分割點),xgboost在訓練之前,預先對數星域據進行了排序,然後保存為block結構,後面的叠ω代中重復地使用這個結構,大這到底是什么刀法大減小計算量。這個block結構也使得並行成為了可能,在進行節點的分裂□ 時,需要計算每個特征的增益,最終選增益最大的那拉過董海濤個特征去做分裂,那麽各個特征的增益計 傲光算就可以開多線程進行。

                可並行的近似直 少主方圖算法。樹節點在進行分裂時,我們需要計算每個特征的每個分割點對缺口應的增益,即用貪心法 嗡枚舉所有可能的分割點。當數據無法一次載入內存或者在分布式聲音竟然從格爾洛身后響起情況下,貪心算法效率就會變得很低,所以xgboost還提出了一種可並行的近似那什么百花樓直方圖算法,用於高效地生成候選的分割點。