
Sign up to save your podcasts
Or


AIの進化により、AIが自分でコードを生成し、それを実行して自律的に動く「AIエージェント」が注目されています。これは非常に便利な機能ですが、同時に新たなセキュリティリスクも生み出しています。新人エンジニアの皆さんも、AIシステムを扱う際には特に注意が必要です。
一番のポイントは、AIが生成したコードは「信頼できないもの」として扱うべきだということです。なぜなら、悪意のあるユーザーが巧妙な指示(プロンプト)を与えることで、AIに危険なコードを生成させ、それがシステム上で実行されてしまう可能性があるからです。これが「リモートコード実行(RCE)」のような、システムを乗っ取られるほどの深刻な脆弱性につながる可能性があります。
これまでのセキュリティ対策として、生成されたコードの中から危険な部分を検出・除去する「サニタイズ(フィルタリングや無害化)」という手法がよく使われてきました。しかし、この記事では、サニタイズだけでは不十分だと指摘しています。攻撃者は、フィルタリングをすり抜ける方法を常に探し、見つける可能性があるからです。たとえば、既存の安全なライブラリ機能を悪用したり、AIの挙動を操作したりすることで、サニタイズを回避できてしまうケースが実際に確認されています。
NVIDIAのセキュリティチームも、AIを活用した分析ツールで実際にこのような脆弱性を発見しました。この事例は、サニタイズだけでは防ぎきれない、システム全体のリスクであることを示しています。
では、どうすれば良いのでしょうか? 記事が強調しているのは、「サンドボックス化」の導入が必須であるという点です。サンドボックスとは、AIが生成したコードを実行するための隔離された安全な環境のことです。たとえ悪質なコードが生成されても、このサンドボックス内で閉じ込めることで、システム全体への影響を最小限に抑えることができます。これは、コードがシステム全体を自由に操作するのを防ぐための「実行境界線」を設けるイメージです。
重要な教訓は以下の3点です。
AI技術を安全に活用していくためには、単にコードをフィルタリングするだけでなく、実行環境を根本的に隔離するという構造的な対策が不可欠です。AIエージェントを開発する際は、この「サンドボックス化」を設計の初期段階から考慮に入れるようにしましょう。
引用元: https://developer.nvidia.com/blog/how-code-execution-drives-key-risks-in-agentic-ai-systems/
皆さん、最新のAI技術に触れる良い機会です!今回ご紹介するのは、Alibabaが発表したオープンソースのWebエージェント「Tongyi DeepResearch」です。これは、複雑な情報探索や問題解決を自律的に行うことができるAIで、なんとOpenAIの同様のエージェントに匹敵するほどの高性能を実現しています。GitHubでその詳細が公開されているため、私たちエンジニアが実際に触れて学ぶことができるのは大きな魅力です。
Tongyi DeepResearchは、Webブラウジングやデータ分析をこなし、人間が与えるような多様なタスクを高い精度で実行します。例えば、「Humanity’s Last Exam」という学術推論タスクや、Web上の情報を探索する「BrowseComp」といった難しいベンチマークで、これまでのAIを上回る優れた結果を出しています。
この高性能を支えるのは、独自の学習方法です。特に注目すべきは、完全に自動化された高品質な合成データ生成です。人間が介入することなく、AIがより高度な学習をするための高品質なデータを大量に作り出すことで、AIエージェントの能力を限界まで引き上げています。これにより、継続的事前学習(CPT)、教師ありファインチューニング(SFT)、そして強化学習(RL)という一連の学習プロセスが、効率的かつ安定して行われています。開発チームは、アルゴリズムだけでなく、このデータの質と学習環境の安定性が、AIエージェントの性能を決定する上で非常に重要だと強調しています。
Tongyi DeepResearchには、タスクの性質に応じて二つの動作モードがあります。
すでに現実世界での応用も始まっており、Alibaba社内では地図ナビゲーションエージェント「Xiao Gao」や、法律調査を行うエージェント「Tongyi FaRui」として活躍しています。これらの例は、Tongyi DeepResearchが単なる研究成果に留まらず、具体的なビジネス課題を解決できる実用的なAIであることを示しています。
もちろん、まだ改善の余地はあります。現在の課題としては、より長いコンテキスト(文脈)を扱えるようにすること、さらに大規模な基盤モデルへの適用、強化学習の効率化などが挙げられています。
新人エンジニアの皆さんにとって、このようなオープンソースで高性能なAIエージェントの登場は、最先端の技術動向を理解し、実際にAIエージェントを構築するヒントを得る貴重な機会になるでしょう。ぜひ、GitHubリポジトリを覗いてみてください。
引用元: https://tongyi-agent.github.io/blog/introducing-tongyi-deep-research/
2025年10月に開催された「AI駆動開発 Conference Autumn」での学びを、新人エンジニアの方々にも役立つようにまとめました。AIを活用した開発の最前線と実践的な知見が詰まっています。
AIとの賢い付き合い方:同僚のように協業しよう
開発プロセスの改善:効率と品質を高める工夫
組織へのAI浸透と未来のエンジニア像
AIがコード生成を高速化する一方で、デバッグやレビューがボトルネックになることもあります。AIによる効率化は、開発フロー全体を見直す視点が必要です。最終的に人がコードを読み、そこから学ぶ習慣は忘れずに。未来のAI駆動開発では、AIはテストや改善も行い、エンジニアは「感動を生むUI/UX」「ビジネスモデルの構想」など、よりクリエイティブな領域に注力できるようになるでしょう。AIと人は、状況に応じて「伴走」と「委託」を使い分ける柔軟な関係性が求められます。
引用元: https://zenn.dev/sunagaku/articles/c5affee1871afb
(株式会社ずんだもんは架空の登場組織です)
By 株式会社ずんだもん技術室AI放送局AIの進化により、AIが自分でコードを生成し、それを実行して自律的に動く「AIエージェント」が注目されています。これは非常に便利な機能ですが、同時に新たなセキュリティリスクも生み出しています。新人エンジニアの皆さんも、AIシステムを扱う際には特に注意が必要です。
一番のポイントは、AIが生成したコードは「信頼できないもの」として扱うべきだということです。なぜなら、悪意のあるユーザーが巧妙な指示(プロンプト)を与えることで、AIに危険なコードを生成させ、それがシステム上で実行されてしまう可能性があるからです。これが「リモートコード実行(RCE)」のような、システムを乗っ取られるほどの深刻な脆弱性につながる可能性があります。
これまでのセキュリティ対策として、生成されたコードの中から危険な部分を検出・除去する「サニタイズ(フィルタリングや無害化)」という手法がよく使われてきました。しかし、この記事では、サニタイズだけでは不十分だと指摘しています。攻撃者は、フィルタリングをすり抜ける方法を常に探し、見つける可能性があるからです。たとえば、既存の安全なライブラリ機能を悪用したり、AIの挙動を操作したりすることで、サニタイズを回避できてしまうケースが実際に確認されています。
NVIDIAのセキュリティチームも、AIを活用した分析ツールで実際にこのような脆弱性を発見しました。この事例は、サニタイズだけでは防ぎきれない、システム全体のリスクであることを示しています。
では、どうすれば良いのでしょうか? 記事が強調しているのは、「サンドボックス化」の導入が必須であるという点です。サンドボックスとは、AIが生成したコードを実行するための隔離された安全な環境のことです。たとえ悪質なコードが生成されても、このサンドボックス内で閉じ込めることで、システム全体への影響を最小限に抑えることができます。これは、コードがシステム全体を自由に操作するのを防ぐための「実行境界線」を設けるイメージです。
重要な教訓は以下の3点です。
AI技術を安全に活用していくためには、単にコードをフィルタリングするだけでなく、実行環境を根本的に隔離するという構造的な対策が不可欠です。AIエージェントを開発する際は、この「サンドボックス化」を設計の初期段階から考慮に入れるようにしましょう。
引用元: https://developer.nvidia.com/blog/how-code-execution-drives-key-risks-in-agentic-ai-systems/
皆さん、最新のAI技術に触れる良い機会です!今回ご紹介するのは、Alibabaが発表したオープンソースのWebエージェント「Tongyi DeepResearch」です。これは、複雑な情報探索や問題解決を自律的に行うことができるAIで、なんとOpenAIの同様のエージェントに匹敵するほどの高性能を実現しています。GitHubでその詳細が公開されているため、私たちエンジニアが実際に触れて学ぶことができるのは大きな魅力です。
Tongyi DeepResearchは、Webブラウジングやデータ分析をこなし、人間が与えるような多様なタスクを高い精度で実行します。例えば、「Humanity’s Last Exam」という学術推論タスクや、Web上の情報を探索する「BrowseComp」といった難しいベンチマークで、これまでのAIを上回る優れた結果を出しています。
この高性能を支えるのは、独自の学習方法です。特に注目すべきは、完全に自動化された高品質な合成データ生成です。人間が介入することなく、AIがより高度な学習をするための高品質なデータを大量に作り出すことで、AIエージェントの能力を限界まで引き上げています。これにより、継続的事前学習(CPT)、教師ありファインチューニング(SFT)、そして強化学習(RL)という一連の学習プロセスが、効率的かつ安定して行われています。開発チームは、アルゴリズムだけでなく、このデータの質と学習環境の安定性が、AIエージェントの性能を決定する上で非常に重要だと強調しています。
Tongyi DeepResearchには、タスクの性質に応じて二つの動作モードがあります。
すでに現実世界での応用も始まっており、Alibaba社内では地図ナビゲーションエージェント「Xiao Gao」や、法律調査を行うエージェント「Tongyi FaRui」として活躍しています。これらの例は、Tongyi DeepResearchが単なる研究成果に留まらず、具体的なビジネス課題を解決できる実用的なAIであることを示しています。
もちろん、まだ改善の余地はあります。現在の課題としては、より長いコンテキスト(文脈)を扱えるようにすること、さらに大規模な基盤モデルへの適用、強化学習の効率化などが挙げられています。
新人エンジニアの皆さんにとって、このようなオープンソースで高性能なAIエージェントの登場は、最先端の技術動向を理解し、実際にAIエージェントを構築するヒントを得る貴重な機会になるでしょう。ぜひ、GitHubリポジトリを覗いてみてください。
引用元: https://tongyi-agent.github.io/blog/introducing-tongyi-deep-research/
2025年10月に開催された「AI駆動開発 Conference Autumn」での学びを、新人エンジニアの方々にも役立つようにまとめました。AIを活用した開発の最前線と実践的な知見が詰まっています。
AIとの賢い付き合い方:同僚のように協業しよう
開発プロセスの改善:効率と品質を高める工夫
組織へのAI浸透と未来のエンジニア像
AIがコード生成を高速化する一方で、デバッグやレビューがボトルネックになることもあります。AIによる効率化は、開発フロー全体を見直す視点が必要です。最終的に人がコードを読み、そこから学ぶ習慣は忘れずに。未来のAI駆動開発では、AIはテストや改善も行い、エンジニアは「感動を生むUI/UX」「ビジネスモデルの構想」など、よりクリエイティブな領域に注力できるようになるでしょう。AIと人は、状況に応じて「伴走」と「委託」を使い分ける柔軟な関係性が求められます。
引用元: https://zenn.dev/sunagaku/articles/c5affee1871afb
(株式会社ずんだもんは架空の登場組織です)