【MoAコンペまとめ】凡ミスで大幅shake downしたKaggle芸人がMoAのscore、参加人数などのデータをまとめてみた

Kaggle

出オチ

やっほー!MoAコンペ参加したけど凡ミスでPrivateの順位が4000位近くshake downしたKaggle芸人のしぃたけだよ!

ガチコンペに初参戦で頑張ってモデル作って頑張ってアンサンブルしたもののPrivateのデータを提出するの忘れていたよ!

というか、英語読むの面倒でルール理解することを放棄していたことが原因だよ!モデル作成以前の問題だよ!

ちなみにアンサンブル学習前のPrivate提出ありのモデルをLate Subしたら見事に銅メダル圏内だったよ!

まるでセンター試験で地理Aと地理Bを間違えてしまった受験生のような気分だったよ!

こんなことをネットに晒すの恥ずかしいから書かないで置こうかと思ったけど、自分みたいな人が一人でも減ればと思って記録を残しておくよ!

みんな気を付けて!















死にたい。



本題

本題です。過去にMoAコンペについてこんな記事を書きました。

ガチのコンペ初心者の自分はどんどん更新されていくLBのscoreを見ていて「どのくらいのsocreをとっておけば逃げ切れるのか?」「LBの更新はどの時期が一番盛んになるのか?」などいくつか疑問が生まれたので、データ活用人材らしくデータ取りを行ってました。

今回コンペが終わってデータ取りも終了したので、データを公開したいと思います。

取得したデータについて

下記のデータを取得してます。なお、取得しているデータはPublicのデータに限定しているのでご留意ください。

  • メダル(銀、銅)圏内のボーダーscore
  • 自分のscore,順位
  • データ取得当初のベンチマークのscoreの順位(以下、BM とする)
  • コンペ参加人数



メダル圏内scoreと自分のscoreの推移

まずは、メダル圏内のscoreと、自分のscoreの関係のグラフを図示します。

メダル圏内scoreと自分のscoreの推移

なお、このコンペの評価指標はlog_lossなのでscoreが低いほど順位が高いです。このグラフからわかることは大きく2点です。

  • 締切1か月前(10/25付近)で大きくボーダーのscoreが更新されている。
  • 締切直前(11/26付近)で銅圏内、銀圏内のscoreに差がなくなってくる。



前者については、1か月前からいろんなKagglerが本気を出したというよりも、の時期にNotebookの更新が激しくなったことが原因と考えられます。自分もその時期のNotebookを参考に順位を上げてました。(Notebookの更新状況のデータも取っておけばよかった。)

後者については、コンペ終了間近でワンちゃん狙いの人がNotebook丸写しで滑り込んできて銅圏内がものだと考えられます。事実として、直前に丸写しするだけでも銅圏内に入れるようなscoreが出せるNotebookも存在しました。

自分の順位の推移

続いて、自分の順位がTOP何%かを表すグラフがこちらです。

自分の順位の推移

自分は11月20日付近からscoreが更新されなかったのですが、それ以降で二次関数的にLBのランクが下がっていっていることがわかります。締め切り直前の10日くらいはLBの更新が激しくなるので注意が必要そうです。

ベンチマークのscoreの順位の推移

続いて、自分がデータどりを始めた瞬間のscoreを追いかけてみた結果がこちらです。(score = 0.01840)

BMのscore順位の推移

前回の記事での計算ではこのscoreでも逃げ切れる計算だったのですが、全然ダメでした。

やはり、直線的に順位は変動せず、締切1か月前のNotebookの更新激化、直前の滑り込み勢の増加の2つの変化点でBMの順位も変化してました。このグラフから言いたいことは、1か月前から逃げ切りとか考えても意味ないよ。という事です。


MoAコンペ参加人数の推移

最後にコンペ参加人数の推移を記録したものがこちらです。

MoAコンペ参加人数推移

個人的に一番以外だったのがこちらのデータで、コンペ終了直前でも新規参加者は減らず、1日平均40人ほど線形に増え続けています。

早めに参加でじっくりEDAして、データの内容を理解しよう!と思っている人ではなく、直前に参加してNotebookを写してワンちゃん狙い!という方が多いという事ではないかと推察されました。

まとめ

今回のデータ取りでわかったこと、気づきは下記のとおりです。

  • LBの更新は新規Notebookの更新数に依存する。
  • 締切直前はLBの更新が激化する。(ワンちゃん狙い多いと予想)
  • 1か月前から逃げ切りは基本無理。
  • 参加人数はコンペ締め切りの時期には依存せず、線形的に増えていく。

文字に起こしてみると当たり前のことですが、データ付きで示している人は少ない気がするので多少説得力はあるかと思います。誰かの役に立つことを願ってます。


あと、1番重要なことですが。







  • コンペのルールを熟読して理解すること!

以上です。

コメント

タイトルとURLをコピーしました