知能情報研究室ラジオ

知能情報研究室ラジオ

By 橘完太Science
Download on the App Store

知能情報研究室ラジオ episodes

  • 【パターン認識ラジオ】多様体学習の手法

    パターン認識ラジオへようこそ、リスナーの皆さん！今回のトピックは多様体学習の手法、特にLLE、t-SNE、Isomap、そしてAutoEncoderについてのお話です。


    まず、多様体学習とは何か簡単に説明します。多様体学習は高次元データの低次元への埋め込みを見つけるための手法で、データの本質的な構造を抽出することを目指します。たとえば、地球を地球全体から見た3D形状ではなく、地表面に沿った2Dマップとして扱うようなイメージです。


    まず最初に紹介するのはLLE、つまり局所線形埋め込みです。LLEは各データ点の近傍の構造を保持しようとする手法で、それぞれの点が近傍の点によって線形的に再現できると仮定します。この再現性を低次元空間でも保つようにデータを埋め込みます。LLEはノイズに強く、非線形の構造を捉えることができますが、全体的なデータの形状を把握するのは苦手な面があります。


    次に、t-SNE、つまりt-分布確率的近傍埋め込みをご紹介します。t-SNEは、高次元空間のデータ点の近傍関係を確率分布で表現し、それを低次元空間でも再現しようとします。このとき、高次元空間での近さと低次元空間での近さが一致するように確率分布のKLダイバージェンスを最小化します。t-SNEは特に視覚化によく用いられます。


    さらに、Isomapも多様体学習手法の一つです。Isomapは近傍点間の「地理的距離」、つまり多様体上を移動する距離を考慮します。これにより、データの大域的な構造を保持したまま低次元化を行うことが可能です。Isomapは、各データ点の近傍を繋げてグラフを作り、その上で最短距離を求めることで「地理的距離」を計算します。


    最後に、AutoEncoderについてです。AutoEncoderは深層学習の一種で、データを低次元の潜在空間にエンコードし、その潜在表現から元のデータをデコードすることで学習します。これにより、データの抽象的な表現を学習することができます。また、潜在空間の次元を制御することで、任意の次元への埋め込みが可能となります。


    以上が今回ご紹介する主要な多様体学習手法の概要です。それぞれの手法は特徴や適用範囲が異なり、具体的な問題やデータの性質によって最適な手法が変わることを理解していただければと思います。


    それでは、次回も「パターン認識ラジオ」をお楽しみに。次回はこれらの手法を用いた具体的な応用


    例についてお話しする予定です。皆さん、どうぞお楽しみに！




    告知リンク：

    https://www.youtube.com/playlist?list=PLPiQ8tB0Q233SUXcAh_FkCzNS51aN48Ud

    https://youtu.be/gP7jjWApgHA

    https://www.kogakuin.ac.jp/admissions/event/oc.html

    https://wcci2024.org/

    9 min
  • 【パターン認識ラジオ】多様体学習とは

    ## 多様体と多様体学習

     

    多様体は、数学的には「局所的にユークリッド空間（直線的な空間）に似ている、高次元の空間」と定義されます。これは例えば、地球全体は3次元の球体（つまり、ユークリッド空間ではない）ですが、小さな範囲ではほぼ2次元の平面（つまり、ユークリッド空間）のように見えるということを意味します。この地球の例のように、高次元のデータも実際にはより低次元の多様体上に存在する可能性があります。

     

    このような視点から生まれたのが「多様体学習」という技術です。これは、データの高次元表現から低次元の構造を見つけ出すことを目的とした一連の手法を指します。つまり、データがある低次元の多様体に"埋め込まれて"いるという仮定に基づいています。

     

    ## 多様体学習のメリット

     

    多様体学習は高次元データの視覚化、次元削減、ノイズ除去に利用できます。高次元データは視覚化が困難で、計算上の問題も引き起こします（これを「次元の呪い」と呼びます）。多様体学習は、データセットの本質的な構造を保持しながら次元を削減することが可能です。

     

    ## 多様体学習の応用例

     

    1. **顔認識**: Eigenface（固有顔）は、主成分分析を用いて高次元の顔画像データを低次元の特徴空間に射影します。これは画像の次元を大幅に削減し、それでもなお重要な顔の特徴を保持することができます。

     

    2. **医療画像解析**: MRIやCTスキャンのような高次元医療画像から有用な情報を抽出するために多様体学習が使用されます。画像から抽出された高次元特徴を低次元空間にマッピングし、この空間内で異常パターン（腫瘍など）を見つけ出すことが可能です。

     

    3. **視覚化**: t-SNEという手法は、高次元データセットの視覚化に役立ちます。この非線形次元削減技術は、高次元空間のデータポイント間の類似性を確率的にモデル化し、それを2次元または3次元空間での確率的な類似性にマッピングします。これにより、高次元データのクラスタリング構造を明らかにすることが可能です。

     

    4. **異常検出**: 多様体学習によりデータの基礎的な構造を明らかにし、その構造から大幅に逸脱するデータポイントを異常と見なすことができます。これは、異常検出問題において、多様体学習が特に有用である理由の一つです。

     

    これらは一部の応用例であり、その他にも多様体学習は音声認識、自然言語処理、バイオインフォマティクスなど、さまざまな領域で使用されています。

     

    しかし、これらの手法は計算コストが高く、ハイパーパラメータの調整が必要であり、結果の解釈が困難な場合があるという課題もあります。それでも、多様体学習は高次元データを理解し解釈する強力なツールとなり得ることは間違いありません。


    告知リンク：

    https://www.youtube.com/playlist?list=PLPiQ8tB0Q233SUXcAh_FkCzNS51aN48Ud

    https://youtu.be/gP7jjWApgHA

    https://www.kogakuin.ac.jp/admissions/event/oc.html

    https://wcci2024.org/

    12 min
  • 【パターン認識ラジオ】人類へ福音をもたらす計算知能への道しるべ

    2023年7月15日、京都工芸繊維大学で行われた講演会CIFSセッションにおける半田久志先生（近畿大学）の講演「進化計算とサロゲートモデル -

    ケムインフォマティクスでの応用 -」の内容を、パターン認識ラジオのリスナーの皆様にお届けします。

     

    有機薄膜太陽電池は、その薄さ、軽さ、そして曲げられる特性から、未来のエネルギー供給の有力な解決策として注目を集めています。しかし、これらの特性を持つ材料を開発するためには、化学的特性の理解と新たな構造の探索が必要となります。ここで半田先生の革新的なアプローチがその解となります。

     

    半田先生は、化学的特性を詳細に理解するために、Gaussian16を用います。Gaussian16は吸収係数を計算するための強力なツールですが、計算に時間がかかるという問題があります。そこで、半田先生はQuantum Deep Fieldを用いてGaussian16のサロゲートとして活用し、計算時間を大幅に削減します。

     

    過学習を防ぐため、また、制約式となる外部ポテンシャルの制約を満たすため、半田先生はLCAO（Linear Combination of Atomic Orbitals）を活用します。LCAOは分子軌道密度や電子密度を計算する際に用いられる手法です。

     

    さらに、半田先生は分子部品をデータベース化し、進化計算を用いて最適な組み合わせを探索します。これにより新たな有機薄膜太陽電池の設計が可能になります。分子構造をグラフで表現し、モンテカルロツリーサーチを用いて探索することで、新しい分子部品の設計も可能になります。このプロセスはSMILES記法を用いて行われ、分子構造をより効率的に設計することが可能となります。

     

    これらのアプローチの組み合わせにより、有機薄膜太陽電池の革新的な設計と開発が可能になります。半田先生の興味深い研究は、化学、人工知能、そして進化計算の交差点にある未来のエネルギー供給システムの可能性を示しています。

     

    半田先生の講演「進化計算とサロゲートモデル - ケムインフォマティクスでの応用 -」は、計算知能の深淵に向けた新たな視点を提供し、実応用の夢への道しるべとなるでしょう。これがパターン認識ラジオのリスナーの皆様にとって有益な情報となれば幸いです。


    告知リンク：

    https://www.youtube.com/playlist?list=PLPiQ8tB0Q233SUXcAh_FkCzNS51aN48Ud

    https://youtu.be/gP7jjWApgHA

    https://www.kogakuin.ac.jp/admissions/event/oc.html

    https://wcci2024.org/

    16 min
  • 【あなたの健康ラジオ】こまめにコツコツ歩数を稼ぐのもいいですね

    （あなたの健康ラジオへのオープニング）

     

    こんにちは、ここは「あなたの健康ラジオ」、私たちは一緒に皆さんの健康を考えていきます。我々のリスナーの一人、彼は毎日一万歩以上歩いているという話を私たちに教えてくれました。すばらしい取り組みですね。生活の中に運動を取り入れることは非常に重要で、こういった行動は皆さんにとって大きなインスピレーションになることでしょう。

     

    （歩行と健康について）

     

    日常生活での歩行は、心肺機能の向上、筋肉の強化、体重の管理、ストレスの軽減、睡眠の質の向上など、さまざまな健康効果をもたらします。彼が示してくれるように、一日一万歩以上歩くことは、非常に健康的なライフスタイルを示しています。

     

    しかし、健康な生活を送るためには、歩行だけではなく、さまざまな運動をバランス良く取り入れることが重要です。

     

    （ヴァラエティとHIITについて）

     

    例えば、ヴァラエティとHIIT（高強度インターバルトレーニング）を組み合わせることで、よりバランスの良い運動習慣を築くことができます。ヴァラエティは、さまざまな種類の運動を取り入れることを意味し、筋肉の使い方や心肺の働きを多角的に鍛えることができます。一方、HIITは短時間で効率的に心肺機能と筋力を向上させる運動法です。

     

    （健康へのエンディングメッセージ）

     

    私たちの目的は、皆さんがより健康的な生活を送ることを助けることです。健康は、決して一晩で達成できるものではありません。毎日一万歩を歩くことから始めること、さらに他の種類の運動も取り入れること。これら全てが、皆さんが健康的な生活を送るための重要なステップです。

     

    健康の道のりは長く、時には険しいかもしれません。しかし、その道のりを一緒に歩んでいくことで、その達成感は何物にも代えがたいものとなるでしょう。私たちは皆さんの健康な生活の一部となることを願っています。

     

    最後に、皆さんの健康を心から祈ります。次回も、皆さんと一緒に健康について考えていきたいと思います。それでは、またお会いしましょう。

     

    （エンディング）




    https://www.youtube.com/playlist?list=PLPiQ8tB0Q233SUXcAh_FkCzNS51aN48Ud

    https://youtu.be/gP7jjWApgHA

    https://www.kogakuin.ac.jp/admissions/event/oc.html

    https://wcci2024.org/

    11 min
  • 【パターン認識ラジオ】未来へと続く道は、今、ここから始まる


    https://www.youtube.com/playlist?list=PLPiQ8tB0Q233SUXcAh_FkCzNS51aN48Ud

    https://youtu.be/gP7jjWApgHA

    https://www.kogakuin.ac.jp/admissions/event/oc.html

    https://wcci2024.org/


    ・素晴らしいリアクションいつもありがとうございます！
    ・テンション上がったので授業をやりましょう！
    ・何を勉強しますか？パターン認識の中でも何を勉強しますか？
    ・もう7月なので、あと3回ですね？残りの2回は皆さん提出の動画をImproveする時間にしてみたいと思います。
    ・これをもっと知りたい、ワクワクすっぞ、というトピックを見つけて、それに関連する論文を見つけてきてください。
    ・掲示板で、どの論文を解説するか早い者勝ちで決めていきましょう。
    ・他の人と同じ論文を取り上げてもいいけど、複数取り上げるうちの1本は他の人が掲示板にまだ書いていないものにしましょう。
    ・論文では、何を目的にどんな技術をどのように工夫して使って、もしくは新しい技術をつくって、どんな問題をどう解決したか、を調べてください。
    ・自分だったらそれをどんな問題にどのように使うか、を動画にまとめてみてください
    ・ぜひ皆さんの心も豊かにして、これから個体数が増える我々ホモサピエンス全体も豊かにしましょう。真の富＝豊かな心で過ごせる時間を増やすことに貢献しましょう！！
    ありがとうございます、それはとてもワクワクするプロジェクトの提案ですね！
    パターン認識の領域は広大で、様々なサブトピックがあります。機械学習、画像認識、音声認識、自然言語処理、時間系列分析、異常検出など、具体的な研究トピックはいくつも考えられます。
    まずは、自分が特に興味を持っている問題やアプリケーションについて考えてみてください。次に、そのトピックに関連する最新の研究論文を探し、どのような手法が提案されているのか、どのような問題を解決するためにそれらが使われているのかを理解しましょう。
    そして、自分だったらその手法をどのように適用するか、または新しい問題に対してどのように利用するかについて思考し、それを動画でまとめてみるのですね。
    それぞれが自分自身で学び、探求し、知識を分かち合うことで、全体の知識と理解が豊かになるでしょう。そして、それが我々ホモサピエンス全体の豊かさに繋がるのですね。
    このプロジェクトを通じて、皆さんが自分の興味に基づいて学ぶ楽しみを見つけ、さらに深い理解を得られることを願っています！
    ある日、日差しの中で思った
    ささやかな夢、無限の宇宙への道程。
    星空に描かれた絵画、
    モノクロームの夢と色とりどりの願い。
    それは、ここに存在する全てが
    無限の可能性を秘めているという証。
    吹き抜ける風のように、
    私たちは、何もかもが可能であると感じる。
    山を越え、海を渡り、時を超えて、
    世界は私たちの物語を待ち受けている。
    限りない空を見上げ、
    我々は問う、未来とは何か？
    そして、答えは風に乗って返ってくる -
    未来とは、自分自身が創り出すもの。
    手を伸ばし、夢を追いかけ、
    絶え間ない探求と創造の旅を続ける。
    それが、人間の旅。それが、生きること。
    だから、何があっても、我々は前へと進む。
    だからこそ、この瞬間、この時を抱きしめる。
    過去を感謝し、現在を生き、未来へと目を向ける。
    明日は新たな始まり、新たな夢、新たな物語。
    未来へと続く道は、今、ここから始まる。
    素晴らしい詩ですね。日差しの中でささやかな夢を思い浮かべ、星空に描かれた絵画を見ていると、無限の可能性を感じます。山を越え、海を渡り、時を超えて、世界は私たちの物語を待ち受けています。限りない空を見上げ、未来とは何かと問うと、答えは風に乗って返ってきます。未来とは、自分自身が創り出すもの。手を伸ばし、夢を追いかけ、絶え間ない探求と創造の旅を続ける。それが、人間の旅。それが、生きること。だから、何があっても、我々は前へと進む。だからこそ、この瞬間、この時を抱きしめる。過去を感謝し、現在を生き、未来へと目を向ける。明日は新たな始まり、新たな夢、新たな物語。未来へと続く道は、今、ここから始まる。
    この詩に込められたメッセージは、とても力強く、心に響きます。私たちは、どんなに小さな夢でも、それを追いかけ続けることで、未来を創ることができるのです。この詩に勇気と希望をもらい、今日も前へと進んでいきましょう。
    データは、私たちの周りに溢れている
    私たちは、データから多くのことを学ぶことができる
    データの分析と解釈は、私たちに価値ある情報を提供してくれる
    データの分析と解釈は、私たちの生活をより良くしてくれる
    私たちは、データを使って、より良い意思決定をすることができる
    私たちは、データを使って、より良いサービスを提供することができる
    データは、私たちの未来をより良いものにしてくれる
    私たちは、データを使って、より良い世界を創ることができる

    8 min
  • 何でも質問コーナー！！

    ・ども橘完太です。夢と科学のくに東京カンターランドへようこそ！
    ・今日は9軸センサで測ります。先週に先輩から説明があったように、加速度、角速度、磁気、accel, angvel, magnetを計るセンサです。
    ・磁束密度の単位は、[μT]micro Teslaでございます。角速度は[rad/s]か[deg/s]です。そして、前半のセミナーのチームの動画はちょっとだけ間違っていました加速度の単位は[m/s/s]と物理的にはなりますが、重力加速度の約9.8をかける必要がありました。加速度センサが出力する数値の単位は[G]です！
    ・9軸センサの情報を組み合わせると3次元的な姿勢が分かります。
    ・ノイズをどのように低減するか、というご質問もありました。9つのそれぞれのデータに窓関数を掛けてからFourier変数して、低周波数成分だけを信号として残す古典的な方法があります。
    ・また、Bayesian Filteringというノイズ低減の手法もあります。状態遷移モデルと観測モデルを使って尤度計算して真の姿勢を推定し、ノイズを除去する手法です。
    ・ルンバの地図作りはどうしているのか？SLAMを使っています。センサとしては9軸も姿勢推定に使っているかもしれません。また、レンジデータをレーザー光または超音波で取得していると思います。これはSmart Brake Supportも同じです。
    ・レーザー光は赤外線の一つです。波長800ナノメートルとか1000ナノメートルとかを使うようです。赤く見える光の波長は700ナノメートルぐらいです。赤い光より波長がちょっと長くて周波数がちょっと低い赤外線です。
    ・超音波は、人間の可聴域は50ヘルツ～15キロヘルツぐらいです。
    ・レーザー光とか超音波とかをエミットして、跳ね返ってくるまでのTime Of Flightを使います。
    ・去年の卒論で使いましたLiDARセンサも同じ原理です。
    確かな喜びと輝きに満ちた日々よ
    夢と科学の国、東京カンターランドへようこそ
    9軸センサの世界へ足を踏み入れよう
    加速度、角速度、磁気、その情報を測ろう
    単位は微小なテスラ、μTの磁束密度
    角速度はラジアンか度、どちらも輝く星
    加速度は物理的な単位m/s/sだが
    9.8倍の重力加速度をかけることを忘れずに
    数値の単位はG、心に留めておこう
    9軸センサが織りなす情報の組み合わせ
    立体的な姿勢を描き出すことができる
    ノイズを低減する方法もあるよ
    窓関数を掛け、Fourier変換により
    低周波数成分だけを抽出し信号とする
    そしてベイズフィルタリングという手法も
    状態遷移モデルと観測モデルを駆使し
    真の姿勢を推定し、ノイズを除去するのだ
    ルンバやSmart Brake Supportにも
    姿勢推定には9軸センサが活躍するかもしれぬ
    レーザーや超音波により距離を測り
    SLAMによって地図を作り上げるのだろう
    赤外線の光は波長が長く、周波数は低い
    800ナノメートルや1000ナノメートルに属す
    赤い光よりも少し長く、赤外線となる
    超音波は我々の可聴域を超える領域
    50ヘルツから15キロヘルツへと広がる
    エミットされ跳ね返ってくるまでの
    Time Of Flightを利用して距離を計るのだ
    坂道の下に障害物があれば
    9軸センサが早めに警報音を鳴らすだろう
    LiDARセンサも同じ原理で動き
    光の反射で距離を計り上手にナビゲートする
    夢と科学のくに、東京カンターランド
    そこでは知識と創造が交差し
    未来を拓く一歩を踏み出すのだ
    輝かしい明日への舞台はここにある
    夢と科学が紡ぐ未来の詩を奏でよう
    科学と夢の織りなす幻想都市、東京カンターランドへようこそ、
    9軸センサが記憶し、加速度、角速度、磁気のパルスが舞う。
    微細な力、軽快な躍動、静寂なる磁気、それらは全て、未知のダンス。
    マイクロ・テスラが描く磁束密度の響き、
    それは繊細な指先が弾く宇宙のハーモニー。
    角速度の詩人たちは、単位に秘められた哲学を綴ります、
    ラジアンか度数法、その選択こそ、時間と空間の交錯。
    しかし忘れてはならぬ、
    加速度の単位、もっとも地に足をつけた[m/s/s]ではなく、
    1Gと呼ぶその表現、私たちは全て、大地の恋人。
    データの海を泳ぐ9つの情報が織りなす、
    3次元的な姿勢は、情報のバレエ。
    しかしノイズは踊りの邪魔者、どうやってその影を払いのけるか？
    窓関数の魔法、Fourierの変奏曲に乗せて、
    低周波成分を頼りに、真実の踊りを引き出す。
    ベイズの濾過、状態と観測の交差点で、
    尤度計算の神々が、ノイズを追放し、真の姿勢を明らかにする。
    無数の部屋を巡るルンバ、地図作りの秘密はSLAMにあり、
    そして、レーザー光や超音波が刻む時間と距離、
    それこそが、障害物への警告音を奏でるメロディ。
    可聴域を超えた音、可視域を超えた光、
    それらは私たちの目には見えず、耳には聞こえぬが、
    テクノロジーの力で、新たな感覚として捉えられる。
    昨年の卒論に添えられたLiDARセンサ、
    それもまた、光と時間の交響曲を奏でる。
    東京カンターランドへようこそ、科学と夢が交差するこの地へ。
    東京カンターランド
    夢と科学の国
    9軸センサは
    私たちの未来を拓く
    加速度、角速度、磁気
    それらの情報から
    私たちは姿勢を把握し
    世界を理解する
    ノイズを低減し
    真の姿勢を推定し
    私たちはより安全に
    より快適に
    そしてより豊かに
    東京カンターランド
    夢と科学の国
    私たちの未来がここにある
    告知リンク：

    https://www.youtube.com/playlist?list=PLPiQ8tB0Q233SUXcAh_FkCzNS51aN48Ud

    https://youtu.be/gP7jjWApgHA

    https://www.kogakuin.ac.jp/admissions/event/oc.html

    https://wcci2024.org/

    28 min
  • 【情報数学ラジオ】未来は君を待っている

    ・夢と科学のくに東京カンターランドへようこそ
    ・Threadsのアカウントをつくりましたので、よければ見つけてください！
    ・lab4intelligenceです
    ・twitterに似ていますが、この先どんなサービスになるんでしょうか、楽しみですね
    ・あと2週間でしっかり準備して、万点取りましょう！
    ・努力は必ず報われます。
    ・オンデマンドEXの問題も繰り返しになりますが、必ず取り組んでください！
    ・テスト前日はよく寝て、テストに臨んでください。A+がとれると信じています
    ・漸近線をまず描いてみましょう！双曲線の問題は。
    ・二次関数の場合、放物線の頂点を求めて、定義域に注意して描きましょう
    ・グラフを描く問題は大きいので、しっかり理解しましょう
    ・1Qの内容をより高密度に勉強して身につけてもらいます！！
    ・工学院大学情報学部をご検討の皆さんは、安心して受験してください
    ・情報学があらゆる分野・産業で不可欠なものになりました
    ・その情報学の基本の基本をしっかり理解しましょう！！
    はい、わかりました。夢と科学のくに東京カンターランドへようこそ。
    Threadsのアカウントを作成しましたので、よければ見つけてください。アカウント名はlab4intelligenceです。Twitterに似ていますが、この先どんなサービスになるのか楽しみですね。
    あと2週間でしっかり準備して、万点取りましょう！努力は必ず報われます。オンデマンドEXの問題も繰り返しになりますが、必ず取り組んでください！テスト前日はよく寝て、テストに臨んでください。A+がとれると信じています。
    漸近線をまず描いてみましょう！双曲線の問題は。二次関数の場合、放物線の頂点を求めて、定義域に注意して描きましょう。グラフを描く問題は大きいので、しっかり理解しましょう。1Qの内容をより高密度に勉強して身につけてもらいます！！
    工学院大学情報学部をご検討の皆さんは、安心して受験してください。情報学があらゆる分野・産業で不可欠なものになりました。その情報学の基本の基本をしっかり理解しましょう！！
    「夢と科学のくに東京カンターランドへようこそ」、そして「lab4intelligence」のアカウントを作成されたこと、おめでとうございます。
    まず、Threadsについてですが、私の知識は2021年までのものなので、その後に出てきたサービスについては正確な情報を提供することができません。しかし、あなたが述べているように、新しいテクノロジーやサービスがどのように進化し、どのように私たちの生活や社会を変えていくのかを見ることはとても興味深いですね。
    次に、あなたのテストに向けたメッセージについて、私も全力でサポートします！あなたが提唱するように、努力は必ず報われます。睡眠も学習の一部であり、体と脳をリフレッシュするためには十分な休息が必要です。そして、双曲線や二次関数、グラフの問題については、しっかりと基本を理解し、繰り返し練習することでマスターできるでしょう。
    また、工学院大学情報学部を目指す方々へのメッセージも素晴らしいです。情報学は現代社会で非常に重要な分野であり、その基本を理解することはあらゆる分野での活躍につながります。
    最後に、あなたの情熱と努力、そして他の人々を励まし続ける姿勢に感謝します。あなたの成功と繁栄を願っています！
    もちろんです、詩を書かせていただきます。
    空は青く広がり、
    星は夜空に輝き、
    夢は心に舞い、
    科学は未知を解き明かす。
    人の心は川のよう、
    時とともに流れ、
    経験と共に深く、
    思い出はその底に沉んで。
    新たなる道は未知への招待、
    踏み出す勇気は冒険の証明、
    困難はただの挑戦、
    挫折はただの一時の休息。
    努力は種、希望は雨、
    夢は花、知識は栄養、
    信念は太陽、友情は風、
    全てが一緒に、美しい庭を作る。
    夜は静かに過ぎ、
    明日は黎明とともに訪れ、
    試験は知識の評価、
    成功は粘り強さの褒賞。
    だから、怖がらずに進め、
    たとえ道が遠くても、
    信じ続けて進め、
    たとえ夢が高すぎても。
    何度でも立ち上がれ、
    何度でも挑戦し、
    何度でも学べ、
    何度でも夢を描け。
    だから、君よ、進め、
    君の旅はまだ始まったばかり、
    科学と夢が待っている、
    そして、未来は君を待っている。

    告知リンク：

    https://www.youtube.com/playlist?list=PLPiQ8tB0Q233SUXcAh_FkCzNS51aN48Ud

    https://youtu.be/gP7jjWApgHA

    https://www.kogakuin.ac.jp/admissions/event/oc.html

    https://wcci2024.org/

    8 min
  • 【パターン認識ラジオ】隠れマルコフモデル

    ここでは、隠れマルコフモデル（HMM）のシンプルな実装を提供します。以下のコードは、気象予報の例を使用しています。2つの隠れ状態（"雨"と"晴れ"）と3つの観測状態（"散歩", "ショッピング", "掃除"）があります。気象は観測できない隠れ状態で、行動は観測状態です。

     

    HMMの実装には以下の3つのパラメータが必要です：

    1. 初期状態の確率

    2. 状態遷移確率

    3. 観測状態の確率

     

    ```python

    import numpy as np

     

    class HMM:

        def __init__(self,

    initial_prob, trans_prob, obs_prob):

            self.N =

    np.size(initial_prob)

            self.initial_prob =

    initial_prob

            self.trans_prob =

    trans_prob

            self.emission =

    obs_prob

            assert

    self.initial_prob.shape == (self.N, 1)

            assert self.trans_prob.shape

    == (self.N, self.N)

            assert

    obs_prob.shape[0] == self.N

     

        def Obs(self, obs):

            return

    self.emission[:, obs, None]

     

        def Decode(self, obs):

            trellis =

    np.zeros((self.N, len(obs)))

            backpt =

    np.ones((self.N, len(obs)), 'int32') * -1

     

            # initialization

            trellis[:, 0] =

    np.squeeze(self.initial_prob * self.Obs(obs[0]))

     

            for t in range(1,

    len(obs)):

                trellis[:, t] =

    (trellis[:, t-1, None].dot(self.Obs(obs[t]).T) * self.trans_prob).max(0)

                backpt[:, t] =

    (np.tile(trellis[:, t-1, None], [1, self.N]) * self.trans_prob).argmax(0)

            # termination

            tokens = [trellis[:,

    -1].argmax()]

            for i in

    range(len(obs)-1, 0, -1):

                tokens.append(backpt[tokens[-1], i])

            return tokens[::-1]

     

    states = ('Rainy', 'Sunny')

    observations = ('walk', 'shop', 'clean')

    initial_prob = np.array([[0.6], [0.4]])

    trans_prob = np.array([[0.7, 0.3], [0.4, 0.6]])

    obs_prob = np.array([[0.1, 0.4, 0.5], [0.6, 0.3, 0.1]])

     

    hmm = HMM(initial_prob, trans_prob, obs_prob)

    obs = np.array([0, 1, 2, 1, 0]) 

    # walk, shop, clean, shop, walk

    path = hmm.Decode(obs)

    print([states[i] for i in path])

    ```

     

    このコードは、観測シーケンスに対して最も確率が高い状態シーケンスを見つけます。この問題はデコーディング問題とも呼ばれ、Viterbiアルゴリズムを使用して解くことができます。Viterbiアルゴリズムは動的計画法の一つで、HMMのデコーディング問題を効率的に解くことができます。

     

    隠れマルコフモデル（HMM）において、"trellis"と"backpt"はViterbiアルゴリズムを実装する際に使用される概念です。

     

    - "trellis"（トレリス）は、HMMの各状態と観測シーケンスを表現する二次元配列（通常は行列）です。HMMの各状態は列として、観測シーケンスは行として表されます。各セル（つまり、特定の状態と特定の時間ステップの組み合わせ）には、その時間ステップまでの最適な（つまり最も高い確率の）パスの確率が格納されます。

     

    - "backpt"（バックポインタ）は、同じくHMMの各状態と観測シーケンスを表現する二次元配列です。しかし、各セルには確率ではなく、最適なパスがその状態に到達するための一つ前の状態が格納されます。これにより、Viterbiアルゴリズムが完了した後で、最適な状態シーケンスを逆順に辿ることができます。

     

    Viterbiアルゴリズムは動的計画法の一例で、観測シーケンスの各時間ステップで、各状態に対して最適なパスとその確率を計算します。この計算は、一つ前の時間ステップの結果に基づいて行われ、全ての時間ステップについて行われた後に、最後の時間ステップでの最適なパスを見つけるために使用されます。これがViterbiパスと呼ばれます。

     

     

     

    パターン認識を理解する上で、隠れマルコフモデル（HMM）は非常に重要な概念となります。HMMは時系列データやシーケンスデータを扱うための強力な統計的ツールであり、自然言語処理、音声認識、バイオインフォマティクスなどの分野で幅広く使われています。

     

    HMMは、観測不可能な（隠れた）状態がマルコフプロセスに従い遷移するという状況をモデル化したものです。これらの隠れた状態がそれぞれ観測可能な結果を生むというのがHMMの基本的な仮定です。つまり、我々が観測できるのはその結果（観測状態）だけで、状態自体（隠れ状態）は直接観測できません。

     

    HMMの実装には三つの基本的なパラメータが必要です。一つ目は初期状態の確率、二つ目は状態遷移確率、そして三つ目は観測状態の確率です。これらのパラメータを使用して、HMMは観測データに対する最も可能性の高い状態シーケンスを予測することができます。この問題はデコーディング問題とも呼ばれ、Viterbiアルゴリズムを用いて効率的に解くことができます。

     

    Viterbiアルゴリズムは、動的計画法の一種であり、各時間ステップにおける各状態の最適なパスとその確率を計算します。この計算は一つ前の時間ステップの結果に基づいており、全ての時間ステップが終了した後に最適なパスを見つけることができます。ViterbiアルゴリズムはHMMのデコーディング問題を効率的に解くための強力な手段で、HMMと一緒に使用されることが多いです。

     

    例えば、気象の状況（隠れ状態）によって私たちの行動（観測状態）が変わるという状況を想像してみてください。晴れていれば散歩に出かけ、雨なら家で掃除をするといった具体的な行動を予測することが可能です。これがHMMが活用できる一例です。

     

    以上のように、隠れマルコフモデルはパターン認識において非常に有用な方法です。時系列やシーケンスデータを効率的に解析するために、HMMとそのアルゴリズムについて理解することは非常に重要です。





    告知リンク：

    https://www.youtube.com/playlist?list=PLPiQ8tB0Q233SUXcAh_FkCzNS51aN48Ud

    https://youtu.be/gP7jjWApgHA

    https://www.kogakuin.ac.jp/admissions/event/oc.html

    https://wcci2024.org/

    12 min
  • 【パターン認識ラジオ】系列データ分析手法の概要

    # 系列データの認識 - 隠れマルコフモデルからTransformerまで

     

    ## 1. はじめに

     

    日常生活の多くは時間とともに変化する系列データとして表現できます。自然言語の文、音声、気象情報、株価の推移など、これらは全て時間的な進行を持つ系列データです。本稿では、このような系列データの認識に使われる技術から、隠れマルコフモデル（HMM）、条件付きランダムフィールド（CRF）、リカレントニューラルネットワーク（RNN）、そしてTransformerといった代表的なモデルについて概説します。

     

    ## 2. 隠れマルコフモデル（HMM）

     

    HMMは統計的なモデルの一つで、特に音声認識や自然言語処理（NLP）の初期の成功例として知られています。HMMは系列データを生成するプロセスを、観測されない（隠れた）状態がマルコフ連鎖を形成し、それぞれの状態が観測可能な出力を生成する、という方式でモデリングします。しかし、HMMの最大の欠点は、直前の状態のみを考慮するため、過去の状態との長期的な依存関係を捉えられないことです。

     

    ## 3. 条件付きランダムフィールド（CRF）

     

    CRFはHMMの拡張とも言えるもので、出力ラベル間の依存性を考慮することが可能な統計的モデルです。CRFは特に、ラベルが系列全体と関連するタスクに適しており、品詞タグ付けや固有表現抽出などによく使われます。しかし、学習の計算負荷は大規模なデータセットや複雑なモデルで高くなる可能性があります。

     

    ## 4. リカレントニューラルネットワーク（RNN）

     

    RNNは深層学習の一つで、時間的な系列データを扱うのに特に適しています。RNNは内部に隠れ状態を持ち、これが過去の情報を一部記憶するメモリの役割を果たします。これにより、RNNは過去の情報との長期的な依存関係を捉えることが可能です。しかし、実際の訓練では、「勾配消失」や「勾配爆発」の問題がしばしば発生し、これが長期依存性を捉えることを困難にしています。

     

    ## 5. Transformer

     

    Transformerは深層学習の新たな形態で、自然言語処理における多くの最先端の結果を生み出しています。アテンション機構を核に持つTransformerは、系列内の任意の要素間の依存関係を効率的に学習できます。長距離の依存関係を捉え、並列計算が可能なこのモデルは、特に大規模なデータセットの訓練に適しています。しかし、その一方で、計算負荷は高く、大量のデータが必要という課題もあります。

     

    ## 6. 結び

     

    系列データの認識は、音声認識から自然言語処理、株価予測まで幅広い分野に及びます。各モデルは特定の問題に対する最適な解を求めるために生まれ、それぞれが特異な長所と短所を持っています。これらのモデルを適切に選択し、また組み合わせて使用することで、様々な系列データの認識問題に対応することが可能になります。





    告知リンク：

    https://www.youtube.com/playlist?list=PLPiQ8tB0Q233SUXcAh_FkCzNS51aN48Ud

    https://youtu.be/gP7jjWApgHA

    https://www.kogakuin.ac.jp/admissions/event/oc.html

    https://wcci2024.org/

    14 min

About 知能情報研究室ラジオ

From the publisher's feed

工学院大学　情報学部　情報科学科（システム数理学科）