今回はTransformer論文『Attention Is All You Need』誕生のバックストーリーについて話しました。
【目次】
() 今回のテーマ
() Transformerとは
() Transformer論文の8人の著者
() self-attentionの発案
() self-attentionをGPUでスケーリング
() Transformerの汎用性を発見
() 『Attention Is All You Need』論文の発表\
() Googleのイノベーションのジレンマ
() 次回予告
▼ 伊藤 (NanoHuman) が運営中のサービス
SuperIntern: 会議を起点に仕事を自動化するAIエージェント
https://super-intern.com/ja/?utm_source=youtube&utm_medium=social&utm_campaign=kigyorireki_description&utm_content=link
【起業の履歴書について】
起業の履歴書は「AI 🤖」と「スタートアップ 💻」について大袈裟に話すチャンネルです。
ホスト2人の仕事や大学時代について話してる自己紹介動画です。パーソナリティに興味を持ってくださった方はぜひ！
https://www.youtube.com/watch?v=3EKSaVEQFuU
＜ホスト＞
・East Ventures 村上雄也 - https://twitter.com/yu8muraka3
・NanoHuman 伊藤工太郎 - https://twitter.com/etaroid
＜Podcast＞
Spotify - https://open.spotify.com/show/5ryodBEEOn66Wk7H2Sl8zF
Apple - https://podcasts.apple.com/jp/podcast/kigyo-no-rirekisho/id1767313170
【参考文献】
- https://arxiv.org/abs/1706.03762
- https://amzn.asia/d/05qSPxfq
- https://amzn.asia/d/0fQgmpjB
- https://www.youtube.com/watch?v=3K-R4yVjJfU
- https://www.youtube.com/watch?v=_sbFi5gGdRA
- https://www.youtube.com/watch?v=ayBOXv_SFCY
- https://www.youtube.com/watch?v=GqWw8-TdjXU
- https://www.youtube.com/watch?v=DtePicx_kFY
- https://www.youtube.com/watch?v=ACC7c5DYVb4
- https://www.youtube.com/watch?v=aMB8JWgejIw
- https://www.youtube.com/watch?v=QobSLFtBhjg
- https://www.youtube.com/watch?v=SGQysDdJUHg
- https://www.youtube.com/watch?v=wrdiigyw7gA
- https://www.youtube.com/watch?v=Q4_YTXhq7no
- https://www.youtube.com/watch?v=v0gjI__RyCY
【お問い合わせ】
起業の相談やお仕事の依頼は「下記お問い合わせフォーム 📋」または「上記XアカウントのDM 📮」にお送りください！
https://forms.gle/hYZojSEgvqis8Pys5
取り扱って欲しいテーマのリクエストなどもお待ちしております！
感想
まだ感想はありません。最初の1件を書きましょう！