ふぁむたろうのブログ

機械学習系のお話やポエムを投稿します

KaggleのNFLコンペ振り返り会を開催したらコンペの中の人が来てくれたお話

どうもみなさんこんにちは。敗北者のふぁむたろうです。

先日(日本時間 2021/11/03) NFL Health & Safety - Helmet Assignment | Kaggle が終了し見事に散りました。 チームメイトのあるてまさんにおんぶに抱っこでこの結果ですので、時代が時代ならハラキリでしたね! (これが実務じゃなくて本当に良かった)

f:id:fam_taro:20211108215056p:plain
ギリギリ銅メダル

結果は残念ですがカメラ幾何とか点群とか勉強するきっかけになったので参加してよかったと思います。

とはいえそのまま終わるのも虚しかったのでコンペ振り返り会を開催したところ、コンペ運営側の Rob Mulla さんも参加してくれたので思い出ネタに記事を書くことにしました。

振り返り会の詳細な内容には触れません。ですので Solution 周りの話はないのでご注意ください。

結論

  • 振り返り会参加者が強いと中の人が来てくれるかもしれない
    • 今回は 1st, 2nd, 3rd, 9th, 12th, 14th, 16th >>> (とても大きい壁) >>> 98th(me) が参加したので実質 Winner's call でしたね
    • 自分も強い側で参加したかった…🥺
    • 今度は自分が褒められる側で参加したい(願望)
  • 振り返り会開くと良いことがあるかもしれないのでみなさんも開きましょう
  • 日本語圏以外の方とリモート会話するときは GoogleMeets が便利
    • 自動字幕 & 翻訳機能 が便利
  • 募集するときに 日時を記載する場合は JST(日本標準時) と UTC(協定世界時) を両方記載しておくと世界中の人にとって優しいです

振り返り会開催の経緯

やはり行うべきは Twitter ですね。
「振り返り会したいな〜(チラチラ」って言ったら今回のコンペ覇者の K_matさん (@Kmat67916008) さんが拾ってくださったので、開催することにしました。

f:id:fam_taro:20211108220516p:plain:w500

まあ4,5人集まれば上々って軽い気持ちで調整さんを作って投げたところ、想定以上に人が来ることとなりました。

f:id:fam_taro:20211108221338p:plain:w500

また英語圏の方も何故かこの Tweet を拾っていて(K_mat さんの RT 拾ったんですかね🤔)、下記のようなやり取りもありました。

相手「英語でやらんの?」

私「英語できんし日本語でやる」

相手「日本の Kaggler 強えし英語ももっと勉強してくれや😂」

私「TOTEMO WAKARU😂」

上記のようなやり取りもあり、「まあ日本語でひっそり開催するっしょ」って気持ちでいたのですが、まさかの運営のRobさんから「日本語しゃべれないけど参加したい」って来たので参加していただくこととなりました。(これも K_mat さんの Tweet 拾ったんですかね🤔)

f:id:fam_taro:20211108222543p:plain:w500

最終的には 12,3人が参加することとなりました。
お忙しい中参加してくださった皆様にはこの場で御礼申し上げます。ありがとうございました!

f:id:fam_taro:20211108221116p:plain:w800
調整さんが埋まっていく図

Robさんとの時差の調整とか、最初Zoomで開こうと思ったけど字幕機能とかがあるMeetsに変更しただとか少しごたつきはありましたが無事振り返り会当日を迎えることができました。

Rob さんってどんな人

  • 現役のGM
  • 前回の NFL 1st and Future - Impact Detection | Kaggle で 2nd の team にいた
  • 今回のコンペではほとんどの人が参考にしたであろう notebook を公開してくれたり、discussion のレスポンスも早かったりして終始コンペをリードしてくれる運営だった
    • 他のコンペの運営も見習って
  • スコア出しそうで犬飼ってそうな顔してる(他の参加メンバーのコメント)

振り返り会の大雑把な流れ

会の流れは大体下記のとおりでした。

  • 自己紹介
  • 全体所感
  • 各Solution振り返り(1st place 以外)
  • Rob さんからのコメント
  • Rob さんへの QA
  • 1st place solution 振り返り

Rob さんは振り返り会開始時(日本時間 19時)は現地朝5時らしく、終盤(日本時間21時あたり)のみ参加してもらってコメントもらう予定でした。
(現地朝7時から参加してくれるとかめっちゃ良い人じゃん)

自分は軽い気持ちで「コンペお疲れさまでした!WEEEEEEEY!」くらいのものを想定していましたが、思ったより Winner's call って感じの会になりました。

タイミングよく tito さんの 2nd place solution の説明のときに Rob さんが参加してくれたので、Rob さんも含めて 1st place solution を聞くこととなりました。 (tito は「ティト」ではなく「ティー・いとう」らしい。あと tito さんは実在するらしい)

Rob さんがいるとき英語でサポートしてくださった かまろ/Camaroさん (@mlaass1) に感謝です。

また Robさんは振り返り会参加者からの質問も快諾してくれたので、今回のコンペについて色々裏話を聞くことができてよかったです。

小ネタ

お酒が入っていたので若干曖昧です。ですので発言した人とかそもそも言ってないこととかあるかもです

  • 今回は最終予測まで複数の推論ステップがあったので、途中のアウトプットの分布をチェックするような probing は有効そうだった
    • bestfitting さんが sub 多かったのもそうじゃね?という説もあり
  • K_mat さんいわく、以前単眼 depth 推定モデルを作ったことが今回のコンペに活きた、らしい
  • 今回は Deep じゃなさそうだけどやっぱり Deep だった
  • ハンガリアン法は嗜み
    • 今回でいうとヘルメットへのプレイヤーラベルの "割当て" において使われるケースがあった
  • Rob さんがいなかったら metrics は impact helmets only になってた可能性があった
    • もっと shake が激しくなった可能性がある
  • Rob さんも事前に検証しててそこそこのスコア出してた
    • 僕は超えることができませんでした🥺

こんな感じでコンペでは大敗北をしてしまったのですが、貴重な経験も含めて色々得るものがあったので皆様もコンペが終わった後は振り返り会を開催しましょう! あとこの記事でNFLコンペに興味を持った方はぜひ Late Submit してみましょう!