データエンジニアリングの動向
DEN_MC1
こんにちは。今回の情報探索へようこそ。今日はですね、primeNumber社のデータエンジニアリングニュース2025年9月版から、データエンジニアリング界隈のちょっと気になる動きをピックアップしていこうと思います。
DEN_MC2
2025年9月も各社から注目すべき発表が本当に相次ぎましたよね。主要なDWH、BigQueryとかSnowflake、それからAWS、Looker Studio、dbt、Tableau、Databricks、あとprimeNumber社自身のTROCCOとかCOMETAにも動きがありましたし、本当に多岐にわたりますね。
DEN_MC1
まさに、これだけ情報が多いとどこから手をつければいいかちょっと迷っちゃいますよね。今回はこれらのアップデートの中から、特にあなたの知識をアップデートする上で抑えておくべきポイント、これは知っておきたいという核心部分を一緒に掘り下げていければなと、この変化の早い分野で何が本質的に重要なのか、その流れをつかむのが今日の目標です。
では早速、GoogleのBigQueryから見ていきましょうか。AI、特にGeminiを活用したSQLコード保管機能がプレビューになったそうですね。これは開発者にとってはかなり大きいニーズかもしれません。
DEN_MC2
そうですね。特にSQLにまだ慣れていない方にとっては、学習コストを下げて、より高度なデータ分析への挑戦を後押しする、みたいな効果が期待できるでしょうね。
DEN_MC1
それは心強いですね。ただまあ一方で、あまり保管機能に頼りすぎるとSQLのスキルそのものが向上にしにくくなる、なんていう懸念はありませんか?
DEN_MC2
それは良い視点ですね。確かに。ツールが賢くなるほど、基礎的なスキル習得の機会が減る可能性はありますよね。
でも見方を変えれば、定型的な作業とか単純なミスから解放されることで、より本質的な何を分析したいのか、どういうインサイトを得たいのかっていう部分に集中できるとも言えるかなと。
DEN_MC1
ツールの進化に合わせて、人間の役割も変化していくのかもしれないですね。
DEN_MC2
確かにそういう捉え方もできますね。BigQueryでは他に何か注目点はありましたか?
DEN_MC1
そうですね。細かい点かもしれないですけど、新しい配列関数。これが一般提供、GAになったことも、日々の開発効率を上げる上では見逃せないかなと。
DEN_MC2
配列関数ですか。具体的にどう便利になるんでしょう?
DEN_MC1
これまでは、配列の最初の要素とか最後の要素を取ったり、一部分を切り出したりするのに、オフセットとかリミット、あるいはアンネストみたいなちょっと周りくどい技術が必要な場面があったんですよね。
DEN_MC2
ああ、はいはい、ありましたね。
DEN_MC1
新しい関数を使えば、それがより直感的で短いSQLで書けるようになります。コードがシンプルになって、可読性とかメンテナンス性が向上するっていうのは、地味ながらも結構重要な改善点と言えるでしょうね。
Snowflakeの革新
DEN_MC1
なるほど、日々のコーディングが少し楽になるわけですね。ありがとうございます。続いて、Snowflakeの動向はどうでしょうか?こちらもAI関連のアップデートが目立ちますね。
DEN_MC2
はい、SnowflakeもAI機能の統合にはかなり力を入れてますね。特にCortex AI SQL Translateの一般提供開始、これはグローバルなデータを扱う企業にとってはかなり大きなインパクトがありそうです。
DEN_MC1
SQLで直接多言語翻訳ができる機能でしたっけ?
DEN_MC2
その通りです。これまでなら、多言語のテキストデータ、例えば英語のレビューコメントなんかを分析する場合、1回データを外部の翻訳サービスに送って、翻訳結果を再度Snowflakeに取り込むみたいな前処理が必要だったんですけど、
この機能を使えば、SQLクエリの中で直接トランスレートみたいな関数を呼び出すだけで、日本語に翻訳して分析する、みたいなことが可能になります。
DEN_MC1
へー、それはデータパイプラインがかなりシンプルになりそうですね。
DEN_MC2
あと、データを移動させる必要がないので、セキュリティとかガバナンスの観点からもメリットがあるかなと。
DEN_MC1
データ活用の幅が広がりますね。それから、Microsoft TeamsとかCopilotから、自然言語でデータにアクセスできるCortex Agentsも発表されたとか、これはまさにデータ民主化の流れですよね。
DEN_MC2
そうですね、これも大きいです。
技術的な知識がないビジネスユーザーの方でも、普段使っているTeamsのチャット画面とかCopilotから、先月の地域別売上トップ3教えて、みたいに自然言語で質問するだけで、Snowflake上のデータにアクセスして回答を得られるようになる。これは非常に強力ですよね。
DEN_MC1
使い慣れたインターフェースから質問できるのは便利ですけど、誰でも自由にデータにアクセスできちゃうと、セキュリティ面って対象なんですかね。
DEN_MC2
そこ重要ですよね。このCortex Agentsは、Snowflakeがもともと持っているRBAC、役割に基づいたアクセス制御の仕組みとちゃんと連携しているんです。
なるほど。
だから、ユーザーは自分がアクセス権を持っているデータの範囲内でしか情報を取得できないようになっているので、既存のガバナンスポリシーを維持したまま利便性を向上させることができるというわけです。
専門家だけじゃなくて、組織のより多くのメンバーがデータに基づいて意思決定を行えるようになる。そういう可能性を秘めてますよね。
DEN_MC1
ガバナンスが効いているなら安心ですね。Snowflakeでは他に非構造化データの扱いに関するアップデートもありましたよね。ファイルデータタイプの一般提供開始。
DEN_MC2
はい。これも結構重要なアップデートで、これまで構造化データ、テーブル形式のデータの扱いに欠けていたSnowflakeが、非構造化データ、画像とか音声、動画、PDFみたいなファイルの管理にも本格的に乗り出したということを示してますね。
DEN_MC1
どういった用途で活用されそうですか?
DEN_MC2
特に画像認識とか自然言語処理みたいなAIMLワークロードでの活用が期待されますね。例えば、製品画像のデータとその製品の売上データを同じテーブルで管理して、画像特徴量を使った売上予測モデルを作るみたいなことがやりやすくなります。
あとは、契約書のPDFの内容を抽出して分析するようなケースでも、PDFファイルそのものと抽出結果をひも付けて管理しやすくなるでしょうね。
DEN_MC1
構造化データと非構造化データの垣根が低くなるイメージですね。ありがとうございます。
AWSとLooker Studioの進展
DEN_MC1
さて、次はクラウドプラットフォームの巨人、AWSに目を向けてみましょうか。
こちらはパフォーマンスと運用効率の向上がテーマという感じでしょうか?
DEN_MC2
そうですね。まず注目したいのが、Amazon OpenSearch Serviceでプレビュー提供が始まったStar-Tree Indexです。
これは大量データの集計クエリーを高速化するための新しいインデックス技術ですね。
DEN_MC1
Star-Tree Index、星型の木ですか?どういう仕組みで速くなるんですか?
DEN_MC2
ちょっと技術的な話になりますけど、これは特定のディメンション、分析軸に基づいてあらかじめデータをキューブみたいな形で事前集計しておくインデックスなんですね。
事前集計?
ええ。例えば時系列のログデータに対して、どの国のどのデバイスからどのページへのアクセスが何件あったかみたいな集計を頻繁に行うとしますよね。
Star-Tree Indexインデックスは、これらの軸で集計された結果をインデックスの中に保持しておくことで、クエリー実行時に膨大な生データをスキャンする代わりに、この事前集計されたインデックスを読むだけで済むようにするというアプローチです。
DEN_MC1
なるほど。料理でいう下ごしらえをしておくようなイメージですかね。
DEN_MC2
まさにそんな感じです。
DEN_MC1
どれくらい効果があるものなんですか?
DEN_MC2
ユースケースによりますけど、AWSの発表では数十億レコード規模のデータに対する典型的な集計クエリーが数分かかってたものが、サブ秒、つまり1秒未満で応答可能になったなんて例も示されてますね。
DEN_MC1
サブ秒応答はすごいですね。
DEN_MC2
ええ。なのでリアルタイム性が求められるダッシュボードとか、インタラクティブな分析アプリケーションなんかで特に威力を発揮するでしょう。
大量のログ分析とかIoTデータ分析なんかでの活用が期待されますね。
DEN_MC1
なるほど。運用面での改善としては、ECSのManaged Instancesも発表されましたね。これはどういったものでしょう?
DEN_MC2
ECSはAmazon Elastic Container Serviceの略で、コンテナ化されたアプリケーションを実行管理するためのサービスですね。
これまではコンテナを動かす基盤としてサーバーレスのFargateを選ぶか、自分でEC2インスタンスを管理するか、そういう選択肢だったんですけど、今回発表されたECS Managed Instancesはその中間を狙ったようなサービスという感じです。
DEN_MC1
中間というと?
DEN_MC2
ユーザーは必要なCPUとかメモリ量を指定するだけで、その要件にあったEC2インスタンスのプロビジョニング、OSのパッチ適用、スケーリング、ヘルスチェックなんかをAWSが自動でやってくれるんです。
DEN_MC1
おー、それは楽そう!
DEN_MC2
そうなんです。つまりFargateみたいな運用負荷の低さとEC2の柔軟性、例えばGPUインスタンスを使いたい場合とか、そういうのを両立させようという試みですね。
インフラ管理の詳細をあまり意識することなく、特定のハードウェア要件を持つコンテナワークロードを実行したい場合に有力な選択肢になるかなと、データ処理パイプラインのコンテナ運用とかがより楽になる可能性がありますね。
DEN_MC1
インフラ管理の手間が減るのは本当ありがたいですね。選択肢が増えるのは良いことです。
では次に、BIツールのLooker Studio、旧Googleデータスタジオですね。こちらの動きを見てみましょう。
DEN_MC2
Looker Studioでは、Google広告コネクタで利用できる指標が増えた点が、特にビジネスユーザーにとっては嬉しいアップデートかもしれないですね。
ROS、広告費用対効果だけじゃなくて、総利益とか総利益率といった、より直接的な収益性に関する指標をレポートに含められるようになったんです。
DEN_MC1
おお、広告の成果をクリック数とかコンバージョン数だけじゃなくて、実際の利益ベースで評価できるってことですね。
DEN_MC2
その通りです。どの広告キャンペーンが売上だけじゃなくて、ちゃんと利益にも貢献してるのかっていう視点での分析がすごくやりやすくなります。
これにより広告良さの最適化とか、よりビジネスの根幹に関わる意思決定をデータに基づいて行いやすくなるでしょうね。
DEN_MC1
それは重要ですね。他に細かい改善点などはありましたか?
DEN_MC2
テーブルチャートで最大10項目まで複数キーでのソートが可能になったりとか。
DEN_MC1
地味に嬉しいやつですね。
DEN_MC2
そうそう。あとパートナーコネクターが多数追加されたりとか、そういう地味な使い勝手の向上が見られますね。
特にパートナーコネクターの充実は、Looker Studioをハブとしていろんな業務ツールとかデータソースと連携しやすくなるってことを意味します。
例えばCRMツールのHubSpotとか、ECプラットフォームのAmazonセラーセントラル、TikTokショップみたいなデータも直接Looker Studioで可視化分析できるようになります。
へー。
あなたが普段使っているツールとの連携もよりスムーズになるかもしれませんね。
DEN_MC1
いろんなツールとつながることで、分析の幅が広がりますね。
Databricks Oneのアップデート
DEN_MC1
さて、次はDatabricksです。
ここは特にアップデートが多い印象ですが、注目すべき点は何でしょうか。
DEN_MC2
Databricksは統合データ&AIプラットフォームとしての地位を確立しようとしてますけど、その動きを象徴するのがDatabricks Oneのパブリックプレビュー開始でしょうね。
これは、これまで主にデータエンジニアとかデータサイエンスと向け張ったDatabricksの機能をビジネスユーザーにも使いやすい形で提供しようというものです。
DEN_MC1
ビジネスユーザー向けというと、先ほどのSnowflakeのCortex Agentsとちょっと似た方向性でしょうか。
DEN_MC2
そうですね。狙いはかなり近いと思います。
Databricks Oneでは、よりシンプルなUIが提供されて、自然言語でデータに関する質問を投げかけるとAIが回答してくれるAI Genie機能とか、主要なKPIを一覧できるダッシュボード機能なんかが利用できます。
ふむふむ。
技術的な知識がなくても、組織内のデータとかAIモデルの恩恵を受けられるようにしようという意図が明確ですよね。
データ活用の裾野を広げて、組織全体のデータドリブン化を加速させたいということでしょう。
AI活用の進化
DEN_MC1
自然言語インターフェースは本当に一つの大きなトレンドですね。
AI関連では、Databricks Assistant Agent Modeというのもベータ版で登場したそうですが、これはどういう機能ですか?
DEN_MC2
これはさらに一歩進んだAI活用を目指すものという感じですね。
従来のDatabricksAssistantって、コード生成とかデバッグの支援が中心だったんですけど、Agent Modeでは、ユーザーがこのデータを使って顧客解約予測モデルを作って、みたいな、もっと抽象的な指示を出すだけで。
そんな指示で?
AIアシスタントが自律的に計画を立てて、必要なステップ、データの読み込みとか、EDA全処理、モデル選択、学習評価とかですね、そういうのを実行して、途中でエラーが出たら自己修正まで試すみたいな。
DEN_MC1
AIがデータサイエンスのワークフロー自体を構築実行してくれるみたいなことですか?
DEN_MC2
まさにそういうイメージです。まだベータ版ですけどね。
将来的には、人間はより上流の課題設定とか、ビジネス目標の定義、あとはAIが生み出した結果の解釈とか、最終判断に集中して、実行部分の多くをAIエージェントに任せる、みたいな形が進むのかもしれません。
DEN_MC1
すごい世界ですね。
DEN_MC2
ここで一つ考えさせられるのは、AIがこれだけ自律的に動けるようになると、私たち人間の問いを立てる能力とか、批判的思考力、みたいなものがこれまで以上に重要になってくるんじゃないかってことですよね。
DEN_MC1
確かに。AIを使いこなす側のスキルが問われますね。ML関連では、Online Feature Storesもパブリックプレビューになったとか、これはML Ops、機械学習モデルの運用に関わる機能でしょうか?
DEN_MC2
はい、その通りです。Feature Storeっていうのは、機械学習モデルの学習時と推論時で使う特徴量、モデルへの入力データですね。これを一元管理するための仕組みです。
Online Feature Storesは、特に本番環境でのリアルタイム推論、例えばユーザーの行動に基づいて瞬時にレコメンド出す、みたいな場面で、非常に低いレイテンシー、つまり遅延で最新の特徴量を提供できるように設計されています。
DEN_MC1
低レイテンシーが重要なんですね。
DEN_MC2
リアルタイム性が求められるアプリケーションでは、ミリ秒単位での応答速度が求められますからね。
Online Feature Storesは、モデルの学習時に使った特徴量、これはオフラインストアで管理するんですけど、そことの一貫性を保ちつつ、本番環境での高速アクセスを実現します。
これによってModel Serving基盤との連携がスムーズになって、例えばECサイトでのパーソナライズされたレコメンデーションとか、金融取引での不正検知なんかで、より精度が高くタイムリーな予測を提供できるようになることが期待されます。
MLモデルを本番運用する上でのかなり重要なピースと言えるでしょうね。
DEN_MC1
MLの実用化を支える機能ということですね。ありがとうございます。
TROCCOの機能強化
DEN_MC1
ではここからは、primeNumber社自身のプロダクト、データ基盤サースのTROCCOの進化について見ていきましょう。環境管理機能がリリースされたそうですね。
DEN_MC2
はい、これはデータパイプラインの開発運用において非常に重要な機能ですね。
多くの開発現場では、開発環境、検証環境、本番環境みたいに、複数の環境を使い分けて安全に開発を進めますよね。
今回の機能で、TROCCO上でこれらの環境を明確に分離して、例えば開発環境で作ったデータ転送設定を検証環境でテストしてから本番環境へ反映させる、みたいな段階的なデプロイプロセスを組むことができるようになります。
DEN_MC1
これによってどういったリスクを避けられるのでしょうか。
DEN_MC2
よくあるのが、開発中の設定変更をうっかり本番環境に適用しちゃって、データ連携が止まっちゃったみたいなヒューマンエラーですね。
DEN_MC1
ああ、怖いですね、それは。
DEN_MC2
ですよね。環境管理機能を使えば、そういう事故のリスクを大幅に低減して、データパイプラインの安定稼働を支援します。
特に複数の開発者が関わるようなケースでは、もう必須ともいえる機能かなと、より堅牢なデータ基盤を構築運用する上で役立ちますね。
DEN_MC1
安全な運用のためには不可欠ですね。TROCCOでは新しいコネクターの追加や機能改善もあったようですね。
DEN_MC2
転送元として新たにDb2 for LUW、あと請求書サービスのBill One、プロジェクト管理ツールのClickUp、それからクラウド電話サービスのBIZTELといったコネクターが追加されて、対応できるデータソースの幅がさらに広がりましたね。
特にSaaS系のコネクターが増えているのは、昨今のトレンドを反映している感じがします。
DEN_MC1
それからCDCでのスキーマ変更自動追従機能というのも気になります。CDCって何でしたっけ?
DEN_MC2
エリートの履歴を捉えてほぼリアルタイムに他のシステムに連携する技術ですね。データウェアハウスへのデータ連携とかでよく使われます。
今回の機能強化は、このCDCを使っているときに、連携元のデータベースでテーブル構造、スキーマが変更された場合、例えば新しいカラムが追加されたり、データ型が変わったりした場合に、それを自動で検知して、TROCCO側の設定とか転送先のテーブルにも反映してくれる、あるいは少なくとも変更があったことを通知してくれる、そういう機能です。
DEN_MC1
それは便利ですね。手動で対応するのは結構大変そうですもんね。
DEN_MC2
まさに。スキーマ変更って気づきにくかったりして、対応が漏れるとデータ連携エラーの原因になったりしますからね。この自動追従機能によって運用保守の手間とコストを削減して、パイプラインの安定性を高めることができる。見落としのリスクも減らせるというわけです。
DEN_MC1
運用負荷の軽減につながるわけですね。あと、データマート先としてDatabricksが追加されたのも、さっきのDatabricksの話とつながりますね。
DEN_MC2
そうですね。これまでも主要なDWHには対応していましたけど、Databricksが加わったことで、TROCCOを使っていろんなソースから収集・加工したデータをシームレスにDatabricksのレイクハウス環境にロードして、そこで高度な分析とかAIMLモデルの構築に活用する、みたいな一連の流れがよりスムーズに行えるようになります。
ユーザーさんのプラットフォーム選択の自由度がさらに高まったと言えますね。
DEN_MC1
はい、ありがとうございます。最後に、同じくprimeNumber社のデータカタログ製品、COMETAについて、こちらはAmazon Redshiftとの連携がサポートされたのですね。
DEN_MC2
はい。COMETAは、組織内に散在するデータ資産、テーブルとか絡むダッシュボードなんかに関するメタデータを収集・整理して、検索可能にすることでデータを探す手間を減らしたり、データの意味とか品質、利用状況を理解しやすくするデータカタログツールですね。
これまでSnowflakeとBigQueryに対応していましたが、今回新たにAmazon Redshiftにも対応したことで、主要なクラウドDWHを網羅する形になりました。
もしあなたがRedshiftをメインで使っているのであれば、COMETAを導入することでデータ活用の効率を上げられるかもしれません。
AI機能の強化と自律的データ探索
DEN_MC1
主要DWHに対応したのは大きいですね。そして、COMETAでもAIチャット機能が強化されて、エージェント化が進んでいるとか。
DEN_MC2
ここでもAIエージェント化の流れが見られますね。従来のAIチャットって、ユーザーの質問に対してカタログ内の情報を検索して回答するという受動的なものが中心だったんですけど、今回のアップデートでAIチャットがより自律的に動作するようになっています。
DEN_MC1
自律的というと?
DEN_MC2
例えばユーザーがこの辺の売上データ探してるんだけどみたいな、ちょっと曖昧な質問を投げかけると、AIがまずカタログ内を探索して、このテーブルに目的の情報がありそうだって候補を見つけ出すんですね。
さらに、じゃあそのテーブルからデータを抽出するには、こういうSQLクエリを実行すればよいだろうって考えて、SQLを生成してくれる。しかもその思考プロセス、なぜこのテーブルを選んだのかとか、なぜこのSQLを生成したのかみたいな理由もちゃんと一緒に提示してくれるんです。
DEN_MC1
AIがデータ探しの思考まで見せてくれるんですね。
DEN_MC2
そうなんです。これによりユーザーは単に答えを得るだけじゃなくて、AIがどうやって結論に至ったかを理解して、より納得感を持って結果を受け入れられる。
あと、AIの提案に対してフィードバックを与えることで、AIがさらに賢くなっていくことも期待されます。
まさにデータ活用の相棒としてAIが機能して、データ探索とか分析の効率を劇的に向上させる、そういう可能性を秘めてるかなと。
DEN_MC1
なるほど。
DEN_MC2
ほしいデータを言葉で伝えるだけで、AIが最適な情報源とアクセス方法を見つけてくれる未来がもうすぐそこまで来てるのかもしれないですね。
DEN_MC1
いやー、今回も本当にたくさんのアップデートがありましたね。
全体を俯瞰してみると、やはり各プラットフォームでAI機能の統合が急速に進んでいるのがすごく強く印象に残りますね。
SQL俯瞰から自然言語インターフェース、翻訳、そして自立的なワークフローを構築支援まで、本当に多様な形でAIが組み込まれ始めているなと。
DEN_MC2
まさにその通りですね。
それと同時に今日見てきたように、ビジネスユーザー向けの使いやすさ向上、Databricks OneとかCortex Agentsみたいなものとか、
あと複雑化するデータパイプラインの運用を支援する機能、ECS Managed InstancesとかTROCCOの環境管理、CDC自動追従なんかも着実に強化されていますよね。
データエンジニアリングの世界って、技術的にはより高度で専門的になりつつも、同時にAIの力を借りることで、より多くの人々がデータにアクセスしてその価値を引き出せる方向へと、
データ活用における人間の価値
DEN_MC2
2つのベクトルで進化している、そんな感じがしますね。
DEN_MC1
高度化と民主化が同時に進んでいると、私たち利用者としては、これらの新しいツールとか機能をどう理解してどう活用していくかがますます問われますね。
DEN_MC2
そうですね。あなたのような学習欲の高い方にとっては、これらの変化をちゃんとキャッチアップして、自分の業務とか目的に合わせて最適なツールを選択して使いこなしていくスキルが今後ますます重要になってくるはずです。
単に機能を知っているだけじゃなくて、なぜこの機能が必要なのかとか、これを使うことで何が可能になるのかっていう、その本質を理解することが大切になってくるかなと。
DEN_MC1
確かに技術の背景や目的を理解することが重要ですね。
DEN_MC2
最後に一つ、今日の話を総括してちょっとあなたに考えてみてほしい問いがあるんですけど。
はい。
これだけ多くのツールでAIによる自動化が進んで、自然言語でデータと対話できるようになると、私たち人間のデータに関わる上での本質的な価値ってどこに宿るんでしょうかね。
DEN_MC1
人間の価値ですか?うーん。
DEN_MC2
ええ、もしかしたらそれは技術的な操作能力そのものよりも、そもそも何を知りたいのかとか、データを使ってどんな課題を解決したいのかといった問いを立てる力、その質とか深さにあるのかもしれないなあと思うんです。
DEN_MC1
問いを立てる力。
DEN_MC2
ツールがどれだけ賢くなっても最終的にそれをどう使うか、何のために使うかを決めるのは人間ですよね。
AIという強力な武器を手にした今、私たちの目的意識とか洞察力、そして知的好奇心そのものがより一層食べされる時代になっていくんじゃないでしょうか。
あなたは何を知りたいですか?その問いを持つこと自体がこれからのデータ活用の出発点になるのかもしれないですね。
DEN_MC1
問いを立てる力ですか。不快ですね。
今日はたくさんの情報と最後に考えるべきテーマまでいただきありがとうございました。
いえいえ、こちらこそありがとうございました。
