TabNetを頑張って調べて見たりする遊び(2/2)
実装を少し端折る
前回に引き続き、今回は実装視点でみてみる
Kaggleにいい感じにシンプルな実装をみつけたので、それを参考にします。
https://www.kaggle.com/marcusgawronsky/tabnet-in-tensorflow-2-0
後述のとおり、若干掛けている部分があるので、そこだけピックアップします
その前に重要な機能を前回よりも細かく列挙
FeatureTransformer
- Skip構造
- ResNetなどに代表されるスキップ構造を導入
- 最後(square(0.5))は結果の変動を抑止(学習安定化)するための安全策らしい。理由は不明
- ShareとDecisionステップ
- 構造的な違い
- ShareStep：使用するFCは全て共通
- Decision Step：使用するFCは全て異なる
- スキップ可能
- 参考サイトではShareStepとDecisionは１つのみ、Googleの実装も1,2つずつくらいで決まっていない疑惑。なので可変変数にしてみた
- 構造的な違い
- GLU
- Gated Linier Unit；線形ゲート付きユニット
- 中身は非常に単純で下記式はA=Bで、入力をシグモイドに変換し、元の入力と積をとる
- これもアテンション機構＋決定木の特徴量選定の一つだと推測
- 結局入力信号の篩を掛けているだけだと思います。でもこのブログで取り上げられている通り、かますことで性能が上がるらしいです。
AttentiveTransformer
- Sparsemax
- softmaxよりもとんがった分類を行うらしく、論文ではマルチ分類に有効らしい
- ablation testではRELUよりもよかったぞ
- 決定木はいわゆる「ぶった切っ」て「結果を2分」するものなので、より鋭い活性化が必要だったと推測
- Prior
- 各ステップごとに係数を決定される。[過去のPrior*(gamma-Attentionからのスカラー値)]として流用される
- これがBoostingの前回の反省を生かす仕組みの実装なのかは不明
- これに関する実験記述なし
- このgammaは全ステップ共通。論文中ではスパース性への対応力が変化すると記載あり。
- これがBoostingの前回の反省を生かす仕組みの実装なのかは不明
- 各ステップごとに係数を決定される。[過去のPrior*(gamma-Attentionからのスカラー値)]として流用される
Split
- Relu行きor Attention行きかで若干ことなる
- Relu行き：次元数n_d
- Attention行き：次元数n_a
- →つまり今更だけれど、FeatureTransの段階でn_d+n_aに変換する必要が実はある。最初の層は無理矢理変えても問題なさそう
- →実はこの部分はGoogleAIの実装ではスキップされている。。。
上記をまとめて、(1)shre stepとdecision steps数可変化と(2)n_d, n_aの設定部分が不足しているので、その部分だけ切り抜いて実装した
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 |
class FeatureTransformer(tf.keras.layers.Layer): def __init__(self,
units:
Optional[int]
=
None, n_total:
int
=
4, n_shared:
int
=
2, virtual_batch_size:
Optional[int] =
128, momentum:
Optional[float]=0.02, skip=
False): super(FeatureTransformer).__init__() self.units
=
units self.virtual_batch_size
=
virtual_batch_size self.momentum
=
momentum self.n_a
=
n_a self.n_d
=
n_d self.n_share
=
n_share self.n_decision
=
n_decision self.share_fcs=List[tf.keras.layers.Layer]
=
[]
#
Share phase dence self.skip
=
skip self.blocks
=
[] #
n_a
->
to
Attention #
n_d
->
to
final Dicision def build(self,
input_shape:
tf.TensorShape): if
self.units is
None: self.units
=
input_shape[-1] for
n
in
range(n_share+n_decision): #
shared blocks if
self.share_fcs and
n
<
len(fcs): self.blocks.append( GLU(n_a=n_a,
n_d=n_d,fc=self.share_fcs[n] virtual_batch_size=self.virtual_batch_size,
momentum=self.momentum) #
build new
blocks else: self.blocks.append( GLU(n_a=n_a,
n_d=n_d virtual_batch_size=self.virtual_batch_size,
momentum=self.momentum) def call(self,
inputs:
Union[tf.Tensor,
np.ndarray],
training:
Optional[bool]
=
None): initial
=
self.initial(inputs,
training=training) # 直前入力ある場合(true)は加算 # 何も無い場合(false)は初期化状態のママ if
self.skip
==
True: initial
+=
inputs residual
=
self.residual(initial,
training=training)
return
(initial
+
residual)
*
np.sqrt(0.5) def call(self, x:
tf.Tensor,
training:
Optional[bool]
=
None): x
=
self.blocks[0](x,
training=training) for
n
in
range(1,
self.n_total): x
=
x
*
tf.sqrt(0.5)
+
self.blocks[n](x,
training=training) return
x |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 |
class
GLU(tf.keras.layers.Layer): """ GLU: Ghost batch normalizationを適用 GBNは汎化誤差の抑制する https://www.tensorflow.org/api_docs/python/tf/keras/layers/BatchNormalization """ def
__init__(self, n_a:
Optional[int]=None, n_d:
Optional[int]=None, virtual_batch_size:
Optional[int]=128, momentum:
Optional[float]=0.01, fc:
tf.keras.layers.Layer
=
None, apply_glu:
bool
=
True, ): super(GLU,
self).__init__() self.units
=
2*(n_a
+
n_d)
self.virtual_batch_size
=
virtual_batch_size self.momentum
=
momentum def
build(self,
input_shape:
tf.TensorShape): if
self.units is
None: self.units
=
input_shape[-1] self.fc_out
=
tf.keras.layers.Dense(self.units,
use_bias=False)
if
fc is
None
else
fc self.bn_out
=
tf.keras.layers.BatchNormalization( virtual_batch_size=self.virtual_batch_size, momentum=self.momentum) def
call(self, inputs:
Union[tf.Tensor,
np.ndarray],
training:
Optional[bool]=None): # Pass GBN output=self.bn_out(self.fc_out(inputs),
training=training) if
self.apply_glu: # ゲート付き線形ユニット return
output[:,:(n_a
+
n_d)]
*
tf.keras.activations.sigmoid(output[:,(n_a
+
n_d):]) else # そのまま通過 return
output[:,:(n_a
+
n_d)] |
もちろん、stepのClassをつくるけれども、その際にもコレらの変数は何らかの方法で受け渡すので
その実装は必要。
事前学習機構
今回のおもしろい部分。FeatureTranとAttentionをコアとするEncoderは、単純に入力と正解与えて学習することも可能だが、AutoEncoderの仕組みを構築して事前学習することで更に精度向上するとか、、、
Unsupervised pre-traininng中の表中「？」に対して、下段で学習機が当てに行っているように見えるけど、
仕組みとしては下記だと推測する
- ？の部分は各ステップのマスキングを意味する。よって各ステップ内で精錬される。
- 結局各ステップでマスキングが行われるため、毎回ことなる入力と出力になる
- 学習時もエントロピでの評価
Decoderの仕組みも、Encoderと同一。逆につないだだけ。
一旦ここでおしまい
実装はこちらです。前述のとおり,kagleのコードを流用しているのでdata取得にはkaggleコマンドを通過させるようにする必要ありです
所感としては、なんだろう。内容としてはいつもとは違うモヤモヤが残る気がします
DNNだと結構コジツケ感があっても、まぁいいやというふうになるが
GBDTと似てます！っていうと決定木やBoostingの構造があるように見えるが、その周辺解説が少ないように見える。まぁシッカリ読んでいないからかもしれない
次回もゆるく何かを纏める
補足：すでにまとまっているニホンゴ資料
- https://zenn.dev/sinchir0/articles/9228eccebfbf579bfdf4
- https://www.guruguru.science/competitions/16/discussions/70f25f95-4dcc-4733-9f9e-f7bc6472d7c0/
- Pytorchの実装の解説だが普通に参考になる。
- Pytorchのライブラリが最も論文に則している？
- 実装はこっちのほうが自然に感じられる
- https://github.com/google-research/google-research/blob/master/tabnet/tabnet_model.py
- GoogleAIによる実装。
- Nottebookで作りました感がすごい。結構手を抜いているように見える。