AI開発の現場では、モデルの学習や推論そのものだけでなく、それを安定して回し続けるための運用設計が重要です。
とくにGPUサーバーを扱う環境では、GPU使用率、メモリ消費、温度、プロセス状況、ディスク容量、学習ログの出力先など、確認すべき対象が多岐にわたります。
手作業で都度チェックする運用でも短期的には回りますが、ジョブ数が増えるほど確認漏れや対応遅れが発生しやすくなります。
だからこそ役立つのが、シェルスクリプトによる監視とログ収集の自動化です。
本記事では、AI開発エンジニアが日常業務で実践しやすい形に絞って、シェルスクリプトを使ったGPUサーバー運用の基本手順を整理します。
複雑な監視基盤をいきなり導入するのではなく、まずは手元のLinux環境で無理なく始められる方法に焦点を当てます。
たとえば、nvidia-smi の定期実行、異常値の検知、ログの時系列保存、不要ログの整理、cronとの連携といった実務に直結する論点です。
自動化の価値は、単なる省力化にとどまりません。
障害の予兆を早く捉えること、再現性のある記録を残すこと、複数人で同じ運用ルールを共有できること。
こうした積み重ねが、開発速度と運用品質の両立につながります。
監視を仕組みに落とし込めているか。
ログがあとから読める形で残っているか。
属人的な確認作業から抜け出せているか。
見直すべきポイントは意外に多いものです。
これから、GPUサーバーの監視やログ収集を自動化するために必要な考え方と実装手順を、できるだけ具体的に解説していきます。
単なるコマンド紹介ではなく、なぜその設計にするのか、どこでつまずきやすいのかまで含めて整理します。
運用負荷を下げつつ、AI開発基盤を堅実に回したい方に向けた実践的な導入ガイドです。
GPUサーバー運用でシェルスクリプト自動化が重要になる理由

GPUサーバーを用いたAI開発では、モデルの精度改善や学習速度の最適化に注目が集まりがちですが、実務ではその前提となる運用の安定性が同じくらい重要です。
どれほど優れた学習コードを書いても、GPUメモリ不足でジョブが停止したり、ディスク容量の枯渇でログが失われたりすれば、開発効率は大きく下がります。
しかも、こうした問題は派手ではない一方で、現場では非常に高い頻度で発生します。
見落とされやすいが、影響は大きい領域です。
このとき有効なのが、シェルスクリプトによる監視とログ収集の自動化です。
理由は明快で、GPUサーバー運用で必要になる確認作業の多くが、定型的で反復可能だからです。
たとえば、一定間隔で nvidia-smi を実行してGPU使用率を記録する、学習プロセスの有無を確認する、異常終了時のログを保存する、古いログを整理する。
これらは人が毎回判断しなくても、条件と手順を明示すれば機械的に処理できます。
AI開発の運用では、監視対象が一つではありません。
GPUだけ見ていればよいわけではなく、CPU負荷、メモリ使用量、ストレージ容量、ネットワーク状態、ジョブの生存確認、出力ログの整合性まで含めて考える必要があります。
つまり、単発の確認ではなく、複数の状態を継続的に追跡する設計が求められます。
ここで手作業に依存すると、観測の粒度が人の都合に左右されます。
確認した時点の情報しか残らず、問題発生前後の推移も追いにくくなります。
その点、シェルスクリプトはLinux環境との親和性が高く、監視の第一歩として非常に実用的です。
大規模な監視基盤をいきなり導入しなくても、まずは小さく始められる。
しかも、cronやsystemdと組み合わせれば、定期実行や再起動後の復旧も比較的容易です。
導入障壁の低さと運用効果の高さ。
このバランスが大きな利点です。
AI開発で発生しやすい監視・ログ管理の課題
AI開発の現場で起こりやすい課題は、単にサーバーが重いという曖昧な問題ではありません。
多くは、どこを監視し、何を残し、どう判定するかが整理されていないことに起因します。
監視とログ管理は、状態を記録するだけの作業ではなく、障害の早期発見と原因分析のための情報設計でもあります。
代表的な課題として、次のようなものがあります。
- GPU使用率は高いのに、実際には特定プロセスが停止している
- 学習ジョブは動いているが、ログが標準出力にしか出ておらず後から追えない
- エラー発生時の時刻や直前の負荷状況が残っていない
- ログを保存し続けた結果、ディスクを圧迫して別の障害を誘発する
- 複数人が同じサーバーを使っており、誰のジョブが資源を占有しているか判別しにくい
ここで重要なのは、障害そのものよりも、障害を説明できる情報が欠落している状態のほうが深刻だという点です。
たとえばCUDA関連のエラーが出たとしても、その直前にGPUメモリが逼迫していたのか、別ユーザーのプロセスが割り込んでいたのか、あるいはI/O待ちで学習が滞っていたのかが分からなければ、対処は場当たり的になります。
再現性のない対応は、長期的には運用品質を下げます。
さらに、AI開発では実験回数が多く、設定差分も細かくなりがちです。
ハイパーパラメータ、モデル構造、データセットのバージョン、実行時刻。
こうした条件の違いが結果に影響する以上、ログは単なる記録ではなく、実験の文脈を保存する役割も担います。
つまり、ログ管理が甘いと、インフラ運用だけでなく研究開発の再現性まで損なわれるわけです。
手作業の監視が限界を迎える典型パターン
手作業の監視は、小規模な検証段階では成立します。
開発者が一人で、短時間のジョブを少数回すだけなら、ターミナルで状況を確認し、必要に応じてログを保存する方法でも回るでしょう。
しかし、運用の複雑さが少し増えただけで、この方法は急速に破綻し始めます。
典型的なのは、夜間実行や長時間学習のケースです。
就業時間中に正常だったジョブが、深夜にメモリ不足で落ちていたとしても、翌朝まで気づけないことがあります。
しかも、障害発生時点のGPU状態やディスク残量を残していなければ、原因特定に余計な時間がかかります。
監視していなかった時間帯の情報空白。
これは手作業運用の構造的な弱点です。
また、複数ジョブ並行実行も手作業監視の限界を露呈させます。
どの端末でどのログを見ていたか、どのプロセスがどの実験に対応していたか、記憶や命名規則に頼る場面が増えるからです。
情報量が人間の短期記憶を超えた瞬間、確認漏れや誤認が発生します。
これは注意力の問題ではなく、システム設計の問題です。
特に危険なのは、問題が起きてから確認すればよいという発想です。
実際には、異常時ほど必要な情報はすでに失われています。
プロセス終了後には実行時の資源状況は直接観測できませんし、ログが追記型で整理されていなければ時系列も崩れます。
事後確認だけでは不十分。
だからこそ、平常時から継続的に記録しておく必要があります。
シェルスクリプト自動化の本質は、人の手間を減らすことだけではありません。
監視の抜け漏れを減らし、情報を一定の形式で残し、障害対応の再現性を高めることにあります。
運用を人の記憶や気合いに依存させるのか、それとも仕組みとして定着させるのか。
GPUサーバーを継続的に使うなら、早い段階で答えを出しておくべき論点です。
シェルスクリプトで自動化できる監視とログ収集の全体像

シェルスクリプトによる自動化を考えるとき、最初に整理すべきなのは「何を監視し、何を記録し、どの単位で残すのか」という全体像です。
GPUサーバー運用では、単にコマンドを定期実行するだけでは十分ではありません。
必要なのは、障害の予兆を捉えられる監視と、あとから原因を追跡できるログ収集を、無理のない構成で組み合わせることです。
監視と記録は似ているようで役割が異なります。
監視は現在の異常を捉えるための仕組みであり、ログ収集は過去の状態変化を説明するための基盤です。
この二つを分けて考えることが、設計の精度を上げます。
シェルスクリプトで実現できることは想像以上に広く、しかもLinux標準の道具だけでもかなり実務的な運用ができます。
たとえば、一定間隔でGPU使用率を取得してファイルに追記する、CPU負荷や空きメモリを同時に記録する、ディスク使用率が閾値を超えたら別ログに残す、特定プロセスの有無を確認してジョブ停止を検知する、といった処理です。
これらは個別には単純でも、組み合わせることで運用の見通しが大きく改善します。
重要なのは、監視項目を増やすことではなく、必要な観測を過不足なく定義することです。
監視対象として押さえたいGPU・CPU・メモリ・ディスクの項目
GPUサーバー運用において、まず注目すべきはGPUの状態です。
ただし、GPU使用率だけを見ていても、実際の問題を取りこぼすことがあります。
たとえば、GPU使用率が低い原因は、ジョブが止まっている場合もあれば、CPU側の前処理が詰まっている場合もあります。
したがって、GPU、CPU、メモリ、ディスクを相互に関連づけて観測することが必要です。
単独値ではなく、系として見る視点です。
監視対象として整理すると、最低限押さえたいのは次の項目です。
- GPU使用率
- GPUメモリ使用量
- GPU温度
- 実行中のGPUプロセス
- CPU使用率またはロードアベレージ
- 物理メモリとスワップの使用状況
- ディスク使用率
- ログ保存先ディレクトリの空き容量
この中でもGPUメモリ使用量は、AI開発では特に重要です。
学習ジョブが落ちる原因として頻出であり、しかもエラー発生時にはすでに状態が変化していることも珍しくありません。
だからこそ、一定間隔で継続記録しておく価値があります。
また、CPU使用率やロードアベレージも見逃せません。
GPUが遊んでいるように見えても、実際にはデータローダや前処理のボトルネックがCPU側にあるケースは多いからです。
整理しやすいように、観測項目と目的を表にすると次のようになります。
| 項目 | 主な目的 | よくある異常の兆候 |
|---|---|---|
| GPU使用率・メモリ | 学習や推論の稼働確認 | 使用率低下、メモリ逼迫 |
| CPU・メモリ | 前処理や全体負荷の把握 | 高負荷、スワップ増加 |
| ディスク容量 | ログ保存とジョブ継続の確保 | 容量不足、書き込み失敗 |
ここでのポイントは、すべてを高頻度で収集する必要はないということです。
GPU使用率は1分ごと、ディスク容量は10分ごと、プロセス確認はジョブ実行中のみ、といったように、項目ごとに監視間隔を変える設計のほうが合理的です。
監視そのものがシステムに不要な負荷を与えては本末転倒です。
ログ収集の設計で先に決めるべき保存先と粒度
ログ収集でありがちな失敗は、とりあえず出力してから考えることです。
しかし運用上は逆で、先に保存先と粒度を決めてから出力設計に入るべきです。
なぜなら、ログの価値は「残っていること」だけでなく、「探せること」と「比較できること」にあるからです。
保存場所が曖昧で、粒度がばらばらなログは、存在していても実質的には使えません。
まず保存先については、監視ログ、学習ログ、エラーログをある程度分けておくのが基本です。
たとえば一つのディレクトリに全ログを混在させると、障害時に必要なファイルを素早く特定しにくくなります。
また、ジョブ単位でディレクトリを切るのか、日付単位でまとめるのかも最初に決めておく必要があります。
短期の検証では日付単位でも回りますが、複数実験が並行する環境ではジョブ識別子を含めた構成のほうが追跡しやすくなります。
次に粒度です。
これは、どのくらい細かく記録するかという問題です。
1秒ごとにGPU状態を記録すれば詳細な分析はできますが、ログ量が膨らみます。
逆に30分ごとでは、急激な使用率変化や一時的な異常を見逃す可能性があります。
したがって、用途別に粒度を決めるのが妥当です。
リアルタイムに近い挙動を追いたい監視ログは短め、長期保管するサマリーログは粗め、といった分離が効果的です。
設計時には、少なくとも次の観点を先に決めておくと運用が安定します。
- どのログをどのディレクトリに保存するか
- 1ファイルあたりの単位を日次にするか、ジョブ単位にするか
- 何分間隔で状態を記録するか
- 何日分を保持し、いつ削除または圧縮するか
- 障害調査時に最初に見るログはどれか
このように設計しておけば、シェルスクリプトの役割も明確になります。
単に情報を吐き出すのではなく、決められた場所に、決められた形式で、決められた間隔で記録する実装に落とし込めるからです。
自動化の品質は、コードの巧妙さではなく、設計の一貫性で決まります。
監視対象とログ収集方針の全体像を先に固めること。
それがGPUサーバー運用を安定化させる出発点です。
GPUサーバー監視用のシェルスクリプト環境をLinuxで整える手順

GPUサーバーの監視をシェルスクリプトで安定して回すには、いきなり監視処理を書き始めるのではなく、先に実行環境を整えることが重要です。
ここを曖昧にしたまま進めると、スクリプト自体は正しく見えても、権限不足で動かない、必要なコマンドが見つからない、ログの出力先が不安定といった初歩的な問題に時間を取られます。
実務では、こうした土台の乱れが運用負荷を増やします。
監視の品質は、監視ロジックそのものだけでなく、実行基盤の整え方に強く依存します。
Linux環境でシェルスクリプトを動かす利点は、標準コマンドが豊富であること、定期実行との相性がよいこと、そして構成の見通しを保ちやすいことです。
とくにGPUサーバーのように長期間運用するマシンでは、誰が見ても理解しやすい配置と実行ルールを最初に決めておくと、後々の保守性が大きく変わります。
個人の開発用サーバーであっても例外ではありません。
むしろ小規模環境ほど、雑に始めた構成がそのまま固定化しやすいものです。
bashで必要なコマンドと権限設定を確認する
まず確認すべきなのは、監視スクリプトを実行するシェルと、依存するコマンド群がサーバー上で安定して利用できるかどうかです。
多くのLinux環境では bash が使えますが、環境によってはデフォルトシェルが異なることがあります。
そのため、スクリプトの先頭で使用シェルを明示し、実行環境の差異を減らすのが基本です。
また、コマンドが存在していても、PATHの違いや実行ユーザーの権限差で失敗することがあります。
目視で使えたから大丈夫と判断するのは危険です。
監視用途で最低限確認したいのは、次のような点です。
bashが利用可能かnvidia-smiが実行できるかdate、df、free、ps、awk、grepなどの標準コマンドが使えるか- スクリプト配置ディレクトリとログ出力先に書き込み権限があるか
- 定期実行時に想定ユーザーで同じ結果が得られるか
この段階で重要なのは、対話的なシェルと自動実行環境を分けて考えることです。
ターミナルで手動実行したときは通るが、cron経由では失敗するという現象は珍しくありません。
理由の多くは、環境変数やPATHが簡略化されるためです。
したがって、監視スクリプトでは外部コマンドへの依存を明示的に扱い、必要なら絶対パスで呼び出す設計が堅実です。
実行権限についても同様です。
スクリプト本体に実行権限がなくても bash script.sh の形なら動く場合がありますが、定期実行や保守の観点では不統一です。
誰が、どの方法で、どの権限で動かすのかを揃えておくほうがよいでしょう。
運用設計としての一貫性。
その意味が大きい部分です。
nvidia-smiと標準コマンドで監視に必要な情報を取得する
実行環境が整ったら、次に確認するのは「必要な観測値が実際に取得できるか」です。
GPUサーバー監視の中核になるのは、やはり nvidia-smi です。
このコマンドにより、GPU使用率、メモリ使用量、温度、電力、プロセス情報などを取得できます。
ただし、取得可能な項目や表示形式は環境によって差があるため、本番運用前に必要な情報が揃っているかを点検することが欠かせません。
一方で、GPU情報だけでは監視として不十分です。
CPUやメモリやディスクの状態も、同時に取得して初めて状況を正しく解釈できます。
たとえばGPU使用率が低い場合でも、CPU側の前処理負荷が高いのか、データ読み込みが詰まっているのか、単にジョブが終了したのかで意味が変わります。
したがって、標準コマンドを組み合わせた観測が基本になります。
観測の役割を整理すると、次のようになります。
| 取得元 | 主な情報 | 監視上の意味 |
|---|---|---|
| nvidia-smi | GPU使用率、GPUメモリ、温度 | 学習・推論の稼働状況の把握 |
| free / vm系 | メモリ使用量、空き容量 | メモリ逼迫やスワップ発生の把握 |
| df | ディスク使用率 | ログ肥大化や保存失敗の予防 |
| ps | 実行中プロセス | 対象ジョブの生存確認 |
ここで意識したいのは、コマンドの出力をそのまま保存するだけでは分析しにくいという点です。
監視用に使うなら、あとから見返したときに比較しやすい粒度で抜き出す必要があります。
特に nvidia-smi は人間向けの整形表示が多いため、監視では必要項目を限定して取得するほうが扱いやすくなります。
運用ログは読みやすさと機械処理しやすさの両立が重要です。
また、ジョブが存在するのにGPU使用率がゼロ近い時間が続く場合は、異常とまでは言えなくても要注意です。
データローダ停止や待機状態の可能性があるためです。
このように、単一の値を監視するのではなく、複数の値の組み合わせから状態を解釈できるようにしておくと、実運用での判断精度が上がります。
ログ保存ディレクトリとローテーション方針を決める
監視情報を取得できても、保存設計が雑だと運用はすぐに崩れます。
特にGPUサーバーでは、学習ログと監視ログの両方が蓄積しやすく、放置するとディスク圧迫の原因になります。
そのため、スクリプトを書く前に、どこへ保存し、どの単位で分け、どのタイミングで整理するかを明確にする必要があります。
出力先は後から変えればよいと思われがちですが、実際には早い段階でルール化したほうが保守しやすくなります。
保存ディレクトリは、少なくとも監視ログとアプリケーションログを分離するのが基本です。
さらに、日付単位やジョブ単位でファイルを切る設計にすると、障害調査時の検索効率が上がります。
逆に、すべてを一つのファイルに追記し続ける構成は、初期は楽でも長期運用に向きません。
サイズ肥大化、参照性低下、破損時の影響範囲拡大といった問題を招くからです。
ローテーション方針を決める際には、次の観点を押さえると整理しやすくなります。
- 監視ログを日次で分割するか、週次で分割するか
- 何日分を残すか
- 古いログを削除するか、圧縮するか
- エラーログだけ保持期間を長くするか
- ディスク使用率の閾値を超えたときに整理処理を走らせるか
ここでの本質は、ログを残すことと、残しすぎないことの両立です。
情報が足りなければ障害解析が難しくなりますが、保持しすぎればサーバー自体の安定性を損ないます。
このトレードオフを意識し、監視ログは比較的短期、障害ログはやや長期といった具合に目的別に保持戦略を分けるのが合理的です。
つまり、GPUサーバー監視用のシェルスクリプト環境を整えるとは、単にコマンドが動く状態を作ることではありません。
必要な情報を確実に取得でき、適切な権限で実行され、ログが破綻しない形で保存される構成を先に作ることです。
土台を詰めておけば、その後に追加する監視ロジックも素直になります。
逆に、この段階を曖昧にすると、後工程のすべてが不安定になります。
最初に整えるべきは、コードより先に運用の前提条件です。
GPU使用率とプロセスを監視するシェルスクリプトの作り方

GPUサーバー監視を自動化するうえで、最も実務的な出発点はGPU使用率と関連プロセスを継続的に記録することです。
なぜここから始めるべきなのか。
理由は単純で、AI開発における主要な異常の多くが、この二つの観測から兆候を読み取れるからです。
学習ジョブが本当にGPUを使っているのか、途中で停止していないか、想定外のプロセスが資源を占有していないか。
こうした判断は、GPU使用率だけでも、プロセス一覧だけでも不十分です。
両者を対応づけて記録してはじめて、監視として意味を持ちます。
ここで意識したいのは、監視スクリプトは高機能であることよりも、定期実行しても壊れにくいことが重要だという点です。
一回だけ手元で動くスクリプトと、日単位・週単位で安定して動くスクリプトは別物です。
実務では後者が求められます。
したがって、監視処理は機能を欲張らず、取得、整形、保存の責務を明確に分けて構成するのが賢明です。
定期実行に向いた監視スクリプトの基本構成
定期実行を前提とした監視スクリプトでは、毎回同じ形式で情報を出力し、異常時にも最低限の記録を残せることが重要です。
構成としては、時刻取得、GPU情報取得、プロセス確認、ログ出力の四段階に分けると見通しがよくなります。
この分割には意味があります。
どこで失敗したのかを切り分けやすくなり、あとから機能追加もしやすくなるからです。
単一の長いワンライナーで済ませる方法もありますが、保守性は低くなります。
最小構成の考え方としては、まず1回の実行で1行または1レコードを出力する設計が扱いやすいです。
一定間隔で追記していけば、時系列データとして素直に読めるからです。
特に定期実行では、1回の出力が冪等に近い形で完結していることが重要です。
途中状態をファイルにだらだら書き込む構成は、障害時にログが壊れやすくなります。
たとえば、監視スクリプトの構成は次のような流れになります。
- 現在時刻を取得する
- GPU使用率とメモリ使用量を取得する
- 対象プロセスの有無や件数を確認する
- 取得結果を一行形式でログへ追記する
- 取得失敗時もエラー内容を別形式で残す
この考え方を反映した簡潔な例を挙げると、次のようになります。
#!/usr/bin/env bash
timestamp=$(date '+%Y-%m-%d %H:%M:%S')
gpu_info=$(nvidia-smi --query-gpu=index,utilization.gpu,memory.used,memory.total --format=csv,noheader,nounits 2>/dev/null)
proc_count=$(ps -ef | grep '[p]ython' | wc -l)
if [ -n "$gpu_info" ]; then
while IFS=, read -r gpu_idx gpu_util mem_used mem_total; do
echo "$timestamp,gpu=$gpu_idx,util=${gpu_util}%,mem=${mem_used}/${mem_total}MiB,proc_count=$proc_count"
done <<< "$gpu_info"
else
echo "$timestamp,error=nvidia-smi unavailable,proc_count=$proc_count"
fi
この例の要点は、監視対象を増やしすぎず、まず定期実行に耐える最小単位を作っていることです。
出力も一行単位なので、あとから grep や awk で追いやすくなります。
監視スクリプトは、最初から完璧を目指すより、壊れない骨格を作るほうが優先です。
異常値を検知しやすい出力形式に整形するポイント
監視ログは保存するだけでは不十分で、異常を見つけやすい形に整形されている必要があります。
ここでよくある失敗は、人間がその場で読むことを前提にした表示を、そのまま定期ログに流用してしまうことです。
確かに見た目は分かりやすくても、あとから比較や抽出を行う段階で扱いづらくなります。
監視ログでは、読みやすさと機械処理しやすさの両方を意識すべきです。
基本的には、1レコードごとに時刻、GPU番号、主要指標、補足情報を固定順で並べるのが有効です。
項目名を毎回明示する形式は少し冗長ですが、障害調査時には意味の解釈ミスを防ぎやすくなります。
逆に、値だけを並べる形式は短くても、後日見返したときに文脈が失われがちです。
ログは未来の自分や他者への説明資料でもあります。
異常検知しやすい出力にするための観点をまとめると、次のようになります。
- 時刻を必ず先頭に置く
- GPU番号を含めて、どのデバイスの情報か分かるようにする
- 単位を省略しすぎない
- 正常系と異常系で出力形式を大きく変えない
- しきい値超過時に識別しやすいフラグを付ける
たとえば、GPU使用率が0に近い状態が一定時間続いた場合や、メモリ使用量が閾値を超えた場合に status=warn のような項目を付けるだけでも、後の分析効率は大きく変わります。
ここで大切なのは、異常そのものをその場で断定しすぎないことです。
GPU使用率が低いことは、ジョブ停止かもしれませんし、前処理待機かもしれません。
したがって、監視ログでは「観測事実」を一貫した形式で残し、その上で別段階の判定に使えるようにする設計が適しています。
事実の記録と解釈の分離。
この発想が有効です。
複数GPU環境での分岐処理と注意点
単一GPU環境では問題にならなくても、複数GPU環境になると監視スクリプトの設計は一段難しくなります。
なぜなら、GPUごとに負荷状況が異なり、ジョブの割り当ても固定ではないことが多いからです。
あるGPUだけ高負荷で、別のGPUは待機状態というのは珍しくありません。
そのため、サーバー全体を一つの状態として扱うのではなく、GPU単位で観測しつつ、必要に応じて全体要約も作る構成が望まれます。
複数GPU対応で重要なのは、分岐処理を増やしすぎないことです。
GPU 0、GPU 1、GPU 2ごとに個別の条件分岐を書いていくと、台数変更に弱いスクリプトになります。
より一般的には、取得結果をループで処理し、GPU数が変わっても同じ構造で動くようにすべきです。
監視対象が増えるほど、ハードコードのコストは急速に高くなります。
注意点としては、少なくとも次の三つがあります。
| 論点 | 起きやすい問題 | 対応の考え方 |
|---|---|---|
| GPU番号依存 | 特定番号前提で壊れる | ループ処理で一般化する |
| 出力量増加 | ログが急速に肥大化する | 項目を絞り、粒度を調整する |
| 解釈の複雑化 | どのGPUが異常か把握しづらい | GPUごとの識別子を明示する |
また、複数GPU環境では、あるGPUだけ使用率が低いことを即異常と判断しない慎重さも必要です。
ジョブスケジューラや手動割り当ての都合で、一部GPUを意図的に空けている可能性があるためです。
つまり、監視スクリプトは全台同一条件で警告を出すだけでは不十分で、環境ごとの利用ルールも踏まえて設計すべきです。
要するに、GPU使用率とプロセスを監視するシェルスクリプトの作り方で重要なのは、情報を取ることそのものではなく、定期実行に耐える構造、異常を見つけやすい形式、複数GPUにも拡張しやすい一般化の三点です。
短いスクリプトでも設計がよければ実用に耐えます。
逆に、場当たり的に継ぎ足した監視処理は、サーバー台数やジョブ数が増えた途端に保守不能になります。
必要なのは、書けることではなく、運用し続けられることです。
学習ログと推論ログを自動収集するシェルスクリプト設計

AI開発におけるログ管理は、単なる出力の保存ではありません。
学習ジョブがいつ、どの条件で、どのように動作し、どの時点で何が起きたのかを再構成できる状態を作ることです。
とくに学習ログと推論ログは、同じ「AI処理の記録」であっても役割が異なります。
学習ログは長時間実行、パラメータ変化、エポック単位の進捗把握に向いており、推論ログは入力、応答時間、例外発生、推論結果の追跡に重心があります。
この違いを無視して一括で扱うと、ログは残っていても分析しづらくなります。
必要なのは、用途に応じた収集設計です。
シェルスクリプトでログ収集を自動化する利点は、アプリケーション本体に大きく手を入れなくても、実行単位で記録ルールを統一できる点にあります。
たとえば起動時刻、実行コマンド、標準出力、標準エラー出力、終了コードを一定形式で残すだけでも、障害解析の精度は大きく上がります。
逆に、開発中の勢いでログ設計を後回しにすると、実行のたびに出力先やファイル名がぶれ、比較不能な記録が積み上がりがちです。
ログは量ではなく構造が重要です。
この視点を外さないことが、実務では効いてきます。
stdoutとstderrを分けて扱うべき理由
ログ収集設計でまず押さえたいのは、標準出力と標準エラー出力を混同しないことです。
これはシェルスクリプトに慣れている人には基本に見えるかもしれませんが、AI開発の現場では意外と曖昧なまま運用されがちです。
学習の進捗表示、評価指標、途中結果の出力といった正常系の情報と、例外、警告、依存ライブラリ由来の異常メッセージは、本来性質が異なります。
同じファイルに混在させると、あとから機械的に解析しにくくなりますし、人が目視で読むときも重要な異常を見落としやすくなります。
stdoutは主に通常動作の観測対象として扱い、stderrは異常系または警告系の観測対象として切り出すべきです。
こうしておけば、障害発生時にはまずstderrを見る、性能変化や学習進捗を確認したいときはstdoutを見る、という読み分けが可能になります。
分析の入り口が明確になるわけです。
この分離が有効な理由は、少なくとも次の通りです。
- 正常ログと異常ログの責務を分けられる
- stderrだけを監視対象にして通知連携しやすい
- stdout側を可視化や集計に使いやすくなる
- ノイズの多い警告群を別管理できる
たとえば、ライブラリの警告が頻繁に出る環境では、正常ログと混在させるだけで可読性が大きく落ちます。
何が本当の失敗なのかが埋もれるからです。
出力の意味論を分離する。
この考え方はログ設計全般で極めて重要です。
タイムスタンプ付きでログを蓄積する実践パターン
ログを役立つ情報に変えるうえで、タイムスタンプは欠かせません。
実行開始時刻だけ記録して満足してしまうケースもありますが、実際には各出力行に近い粒度で時刻情報があるほうが、障害調査や性能変動の追跡には圧倒的に有利です。
なぜそのエラーが出たのかを考えるとき、直前にGPU使用率が下がっていたのか、一定時間無出力だったのか、処理時間が急に伸びていたのかといった情報が判断材料になります。
時刻のないログは、内容があっても因果関係を追いにくいのです。
実践上は、アプリケーション自体が詳細な時刻付きログを出せるならそれを活かし、そうでない場合はシェルスクリプト側で補助的に時刻情報を付与する方法が有効です。
ここで大切なのは、開始時刻、終了時刻、終了コードだけでなく、少なくとも実行単位を識別できる時系列の骨格を作ることです。
完全なトレーシング基盤を構築しなくても、一定の再現性は確保できます。
たとえば、実行開始時にログファイル名へ時刻を埋め込みつつ、終了コードも別途記録する例として、次のような形が考えられます。
#!/usr/bin/env bash
run_id=$(date '+%Y%m%d-%H%M%S')
log_dir="/var/log/ai-jobs"
mkdir -p "$log_dir"
stdout_log="$log_dir/train-${run_id}.out.log"
stderr_log="$log_dir/train-${run_id}.err.log"
python train.py >"$stdout_log" 2>"$stderr_log"
exit_code=$?
echo "finished_at=$(date '+%Y-%m-%d %H:%M:%S') exit_code=$exit_code" >> "$log_dir/train-status.log"
この例では、実行単位ごとのstdoutとstderrを分離しつつ、ジョブ全体の終了状態を別ログで追えるようにしています。
ここでの狙いは、すべてを一つのファイルで管理することではなく、用途別に情報を切り分けることです。
学習ジョブの詳細、異常出力、ジョブ単位の成否。
これらを分離すると、確認の導線が明確になります。
また、時刻の粒度は細かければよいというものでもありません。
推論APIのレスポンス監視なら秒単位が必要かもしれませんが、長時間学習の進捗確認なら分単位でも十分な場面があります。
取得コストと分析目的のバランス。
ここも論理的に決めるべき点です。
障害調査しやすいログ命名規則の決め方
ログ命名規則は軽視されがちですが、実務では分析効率を左右する重要な設計要素です。
ファイル名が場当たり的だと、障害発生時に「どれがどのジョブのログか」を特定するだけで時間を浪費します。
逆に、名前だけで実行時刻、用途、対象ジョブ、出力種別がある程度分かるようにしておけば、調査の初動が速くなります。
命名規則は美しさのためではなく、探索コスト削減のためにあります。
基本的には、ログ名に次の要素を含めると整理しやすくなります。
| 要素 | 役割 | 例 |
|---|---|---|
| 種別 | 学習か推論かを区別する | train, infer |
| 実行時刻 | 時系列で並べやすくする | 20260908-231500 |
| 出力区分 | stdoutかstderrかを分ける | out, err |
| 任意の識別子 | モデル名やジョブ名を補う | bert, api1 |
たとえば train-bert-20260908-231500.err.log のような形であれば、何の処理で、いつの実行で、どの系統の出力かがひと目で分かります。
ここで重要なのは、命名規則を途中で頻繁に変えないことです。
一貫性が失われると、自動集計や障害時の検索が難しくなります。
規則は少し地味でも、継続利用に耐えることが重要です。
さらに、学習ログと推論ログでは命名方針を微妙に変える余地もあります。
学習ではモデル名やデータセット識別子が重要になりやすく、推論ではAPI名、環境名、リクエスト系統などが役立つ場合があります。
つまり、完全に同じテンプレートに統一するより、共通骨格を保ちながら用途別の識別子を足す設計が現実的です。
整理のための一貫性と、現場の識別しやすさ。
この二つの均衡が要点です。
学習ログと推論ログを自動収集するシェルスクリプト設計では、出力を保存するだけでは足りません。
stdoutとstderrを分離し、時系列を追えるようにし、命名規則で探索性を担保することが必要です。
要するに、ログを情報資産として扱う姿勢が問われます。
障害が起きたときに初めて価値が出るのがログです。
だからこそ平常時の設計が重要になります。
事後対応ではなく、事前設計。
ここが運用品質の分岐点です。
cronやsystemdでシェルスクリプトを定期実行する方法

GPUサーバー監視の仕組みは、スクリプトを書いただけでは完成しません。
重要なのは、それを確実に、継続的に、意図した間隔で動かし続けることです。
どれほど監視ロジックが適切でも、定期実行が不安定であれば記録に欠損が生じ、異常の前後関係を追えなくなります。
運用では、機能そのものよりも継続性が価値を持ちます。
したがって、シェルスクリプトの自動実行方式をどう設計するかは、監視設計の中核に位置づけるべき論点です。
Linuxで定期実行を組む際、代表的な選択肢はcronとsystemdです。
どちらも広く使われていますが、性質はかなり異なります。
cronは設定が簡潔で導入が容易です。
一方、systemdは依存関係や再起動制御、実行環境の明示がしやすく、長期運用や障害復旧に強みがあります。
どちらが常に優れているという話ではなく、監視の重要度、サーバーの運用方針、保守体制に応じて選ぶべきです。
手軽さを優先するのか、管理性を優先するのか。
まずはこの軸を持つと判断しやすくなります。
cronで手軽に始める自動実行設定
cronの利点は明快です。
設定が軽く、短時間で導入できることです。
監視スクリプトを一定間隔で回したいだけなら、まずcronから始める選択は合理的です。
特に個人開発環境や、小規模なGPUサーバー運用では、監視基盤を大げさに構えずに立ち上げられることが重要です。
その意味でcronは非常に実用的です。
数分おきにGPU情報を取得し、ログに追記する程度であれば、多くのケースで十分機能します。
ただし、cronは「簡単に動く」一方で、「なぜ動かなかったのか」を説明しにくい場面があります。
環境変数が少ない、PATHが限定的、実行結果が標準では見えにくい、といった特性があるからです。
手元でスクリプトが動いても、cron経由では失敗する。
これは典型的な落とし穴です。
したがって、cronを使う場合は、スクリプト内で必要なパスや出力先を明示し、失敗時の記録も残すようにすべきです。
たとえば、5分おきに監視スクリプトを実行するなら、次のような設定が考えられます。
*/5 * * * * /usr/bin/bash /opt/monitor/gpu_watch.sh >> /var/log/monitor/cron-run.log 2>&1
この例では、実行ログ自体も別ファイルに残しています。
ここでの狙いは、監視対象のログと、定期実行基盤としてのログを分けることです。
監視スクリプトが吐く観測ログと、cronがそのスクリプトを呼び出した結果は、役割が異なります。
両者を混ぜると、障害時の切り分けが難しくなります。
cronが向いているのは、単純な周期実行で十分なケースです。
構成が小さく、再起動時の高度な制御が不要で、障害時に人が比較的すぐ確認できる環境なら、過剰設計を避けられます。
まず小さく始める。
その意味では依然として有力な選択肢です。
systemdで再起動耐性と管理性を高める
一方で、運用の安定性や管理性を重視するなら、systemdは非常に有力です。
とくにGPUサーバーのように長時間稼働し、ジョブ停止やOS再起動の影響を受けやすい環境では、単なる周期実行以上の制御が必要になることがあります。
systemdを使うと、サービス単位で実行条件や再試行方針を明示できるため、監視スクリプトの動作がより説明可能になります。
属人的な実行ではなく、OS管理下のジョブとして扱える。
この違いは大きいです。
systemdには、service と timer を組み合わせて定期実行する方法があります。
この方式の利点は、起動履歴や失敗履歴を追いやすく、設定ファイルとして構成を共有しやすいことです。
たとえば再起動後にも自動でスケジュールが復元されるため、運用者が都度確認しなくても監視基盤が戻りやすくなります。
これは長期運用で効いてきます。
cronとsystemdの性質を比較すると、概ね次のように整理できます。
| 方式 | 強み | 注意点 |
|---|---|---|
| cron | 導入が簡単で軽量 | 実行環境差異や失敗原因が見えにくい |
| systemd | 再起動耐性と管理性が高い | 初期設定はやや複雑 |
ここで重要なのは、systemdを使えば自動的に運用品質が上がるわけではないという点です。
設定ファイルを分かりやすく保ち、標準出力や標準エラーの扱いを整理し、監視対象スクリプトと責務を分ける必要があります。
仕組みが強力なぶん、設計が雑だと複雑さだけが増えます。
管理性は道具の性能だけでなく、構成の明快さで決まります。
実行漏れや二重起動を防ぐ運用上の工夫
定期実行では「動くかどうか」だけでなく、「意図通りの頻度で一回ずつ動くか」が重要です。
ここを軽視すると、監視データに欠損が出たり、逆に二重起動によってログが乱れたりします。
実行漏れと二重起動は、どちらも監視の信頼性を下げる代表的な問題です。
しかも、見た目には動いているように見えるぶん、発見が遅れがちです。
厄介な領域です。
実行漏れが起きる背景には、前回ジョブの異常終了、サーバー再起動、権限変更、ログ保存先の障害など、さまざまな要因があります。
一方、二重起動は、実行間隔より処理時間が長い場合や、手動実行と定期実行が重なった場合に発生しやすくなります。
監視スクリプトは通常軽量ですが、外部コマンドの遅延やI/O待ちで予想外に長引くこともあります。
軽い処理だから大丈夫と決めつけるのは危険です。
そのため、運用上は次のような工夫が有効です。
- スクリプトの開始時にロック機構を設ける
- 実行開始と終了を別ログで明示する
- 定期的に最新ログ時刻を確認し、欠損を検知する
- 手動実行時は定期実行との衝突を避けるルールを決める
とくにロックは有効です。
たとえばロックファイルや排他制御用の仕組みを入れておけば、前回実行が残っているときに新規起動を抑止できます。
ここで大事なのは、抑止した事実自体もログに残すことです。
二重起動を防げても、その事象が観測できなければ、あとから実行漏れと誤認する可能性があります。
防止と観測は別の問題です。
この切り分けが必要です。
要するに、cronやsystemdでシェルスクリプトを定期実行する方法を考えるとき、本質は単にスケジュール登録することではありません。
監視処理を安定的に継続させ、障害時にも履歴を追え、重複や欠損を抑えられる運用構造を作ることです。
cronは導入しやすく、systemdは運用制御に強い。
どちらを選ぶにしても、重要なのは実行の再現性と説明可能性です。
自動化は、回ることよりも、信頼できることに価値があります。
監視スクリプトの保守性と障害対応力を高める改善ポイント

GPUサーバー監視のシェルスクリプトは、最初に動くものを作った時点ではまだ完成ではありません。
むしろ本当に差が出るのは、その後の保守段階です。
ジョブ数が増え、監視対象が広がり、関係者が増えるほど、場当たり的に書かれたスクリプトは急速に扱いづらくなります。
最初は数十行で足りていた処理が、数か月後には条件分岐だらけになり、誰も安全に触れなくなる。
これは珍しい話ではありません。
監視スクリプトの価値は、一度動くことより、長く壊れにくく、修正しやすいことにあります。
保守性と障害対応力を高めるには、コードの見た目を整えるだけでは足りません。
処理の責務分離、設定の外出し、通知との接続余地、障害時の確認手順の標準化まで含めて設計する必要があります。
要するに、スクリプトを単発の便利ツールとしてではなく、運用資産として扱う視点です。
この視点があるかどうかで、同じbashスクリプトでも将来の負債の大きさが変わります。
関数化と設定ファイル分離で再利用しやすくする
監視スクリプトが読みにくくなる最大の原因の一つは、取得処理、判定処理、出力処理、設定値が一つのファイルに無秩序に混在することです。
これでは仕様変更のたびに全体を追わなければならず、修正時の副作用も見えにくくなります。
したがって、一定以上の長さになった段階で関数化を進めるのが合理的です。
関数化の目的は短く書くことではなく、意味単位で処理を分離することにあります。
たとえば、GPU情報取得、ログ書き込み、警告判定といった処理は、それぞれ独立した関数に切り出せます。
こうしておけば、監視項目を増やすときも、既存関数への影響を最小限に抑えやすくなります。
また、環境ごとの差異がある項目、たとえばログ保存先、監視間隔、しきい値、対象プロセス名などは、スクリプト本体に埋め込まず設定ファイルに分離するのが適切です。
コード変更と運用設定変更を同一視しないこと。
ここが保守性を左右します。
設計上、分離しておきたい要素は次の通りです。
- スクリプト本体に置くもの
- 処理手順
- エラーハンドリング
- 関数定義
- 設定ファイルに置くもの
- 監視対象名
- ログディレクトリ
- 閾値
- 通知先や有効フラグ
この分離によって得られる利点は明確です。
別サーバーへ横展開しやすくなり、監視条件の変更も安全になります。
さらにレビューもしやすくなります。
処理ロジックの変更なのか、単なる設定更新なのかが区別できるからです。
小さな設計差に見えて、実務ではかなり効きます。
通知連携を見据えた拡張しやすい設計にする
監視は記録するだけでも意味がありますが、障害を早く知るという観点では通知連携まで見据えておく価値があります。
ただし、ここで重要なのは、最初から多機能な通知基盤を作ることではありません。
むしろ、あとから通知処理を差し込みやすい構造にしておくことのほうが現実的です。
通知手段は環境によって異なります。
メール、Webhook、チャットツール、監視基盤との連携など、選択肢はさまざまです。
だからこそ、通知ロジックを本体処理にべったり埋め込まない設計が重要になります。
たとえば、異常判定を行う関数と、通知を送る関数を分けておけば、初期段階では通知関数を空実装に近い形にしておき、後からメール送信や外部API呼び出しへ差し替えることができます。
この構造なら、監視本体を壊さずに機能拡張できます。
反対に、異常判定のたびにその場で直接通知処理を書いてしまうと、失敗時の挙動も複雑になります。
通知失敗と監視失敗を分けて扱えなくなるからです。
拡張しやすい設計を意識するなら、少なくとも次の分離が有効です。
| 層 | 役割 | 変更が起きやすい点 |
|---|---|---|
| 収集層 | GPUやプロセス情報の取得 | 監視項目の追加 |
| 判定層 | 閾値超過や停止状態の判断 | 条件式や閾値 |
| 通知層 | 外部への通報 | 通知先や送信方式 |
このように層を分けておくと、通知方式を変えても監視の本質的な処理には影響しにくくなります。
運用の現場では、最初はローカルログだけで十分でも、後から「夜間だけ通知したい」「重大障害だけ別経路で知らせたい」といった要件が追加されがちです。
そこに耐えられるかどうか。
拡張性とは、未来の変更を完全に予測することではなく、変更が来ても壊れにくい構造を先に用意しておくことです。
障害時に確認すべきチェックポイントをテンプレート化する
監視スクリプトを改善する際に見落とされやすいのが、障害時の確認手順をテンプレート化しておくことです。
スクリプトがログを出せることと、運用者がそれを使って素早く判断できることは別問題です。
実際の障害対応では、何から確認するかが曖昧なだけで初動が遅れます。
しかもGPUサーバーの不具合は、GPUメモリ不足、プロセス停止、ディスク枯渇、権限問題、定期実行失敗など、発生要因が分散しています。
だからこそ、確認の順序をあらかじめ固定しておく意味があります。
テンプレート化の利点は、担当者による判断のばらつきを減らせることです。
経験のある人は勘でたどれても、属人化した運用は長続きしません。
確認項目を共通化しておけば、障害時の調査が標準化され、引き継ぎもしやすくなります。
これは単なるチェックリストではなく、運用知識の形式知化です。
たとえば、障害時に見る順序を次のように決めておくと実務で使いやすいです。
- 監視スクリプト自体が直近で実行されているか
- GPU使用率とメモリ使用量に急変がないか
- 対象プロセスが存在するか
- stderrに例外や警告が出ていないか
- ディスク容量とログ保存先に異常がないか
- cronまたはsystemdの実行履歴に失敗がないか
このようなテンプレートがあると、障害原因を推測から入らずに済みます。
まず観測事実を並べ、それから仮説を立てる。
コンピューターサイエンスの問題解決でも基本になる進め方です。
感覚ではなく順序で捌くこと。
これが障害対応では強いです。
結局のところ、監視スクリプトの保守性と障害対応力を高める改善ポイントは、コードをうまく書くことだけに還元できません。
関数化と設定分離で構造を整え、通知連携を見据えて責務を切り分け、障害時の確認手順をテンプレート化する。
この三つが揃ってはじめて、監視スクリプトは運用資産として機能し始めます。
書いて終わりではなく、使い続けられる形にすること。
そこまで含めて自動化設計です。
AI開発エンジニアのGPUサーバー運用を安定させるシェルスクリプト活用まとめ

AI開発におけるGPUサーバー運用は、モデルの学習コードや推論ロジックだけで完結するものではありません。
現実の開発現場では、GPU使用率の偏り、メモリ不足、ログ肥大化、ジョブ停止、定期実行の抜け漏れといった、運用上の問題が継続的に発生します。
そして厄介なのは、これらの問題が派手な障害として現れるとは限らないことです。
気づいたときには学習が止まっていた、結果が残っていなかった、再現に必要なログが欠けていた。
こうした形で静かに効率を落としていきます。
だからこそ、GPUサーバー運用は後回しにせず、早い段階で仕組みに落とし込む必要があります。
本記事で見てきたシェルスクリプト活用の本質は、単に作業を自動化することではありません。
人が毎回判断しなくても回る定型作業を切り出し、監視、記録、確認、整理の流れを一貫した運用に変えることにあります。
たとえば、GPU使用率やメモリ使用量を定期的に記録する、プロセスの有無を監視する、学習ログと推論ログを用途別に保存する、古いログを整理する、cronやsystemdで定期実行する。
個々の処理は特別に高度ではなくても、それらが連携すると運用の再現性が大きく上がります。
仕組みの積み上げ。
その価値です。
特に重要だったのは、監視対象を限定せずに広げすぎないことです。
GPUサーバーだからといってGPU関連指標だけを見れば十分というわけではありませんが、逆に最初からあらゆるメトリクスを取り込む必要もありません。
GPU使用率、GPUメモリ、CPU負荷、メモリ使用量、ディスク容量、対象プロセス、ログ保存先の健全性。
このあたりを軸に据えるだけでも、日常運用ではかなりの問題を先回りして検知できます。
監視は多ければよいのではなく、目的に対して過不足がないことが重要です。
観測設計の問題です。
また、ログ収集に関しては、残すことそのものより、あとから読める形で残すことが本質でした。
stdoutとstderrを分ける、タイムスタンプを付ける、ジョブ単位で識別可能なファイル名にする、保存先と保持期間を決める。
これらは一つひとつ見ると地味ですが、障害調査の速度と精度に直結します。
ログが大量にあっても、意味の切り分けができなければ情報資産にはなりません。
逆に、構造化されたログは、小規模な環境でも十分に強力です。
複雑な監視基盤を導入しなくても、まずシェルスクリプトで再現性ある記録を整える。
それだけで運用品質はかなり変わります。
定期実行の設計も見逃せない論点でした。
スクリプトは書いただけでは動き続けません。
cronで軽量に回すのか、systemdで再起動耐性や管理性を高めるのか。
この選択には、環境の規模と運用方針が反映されます。
重要なのは、どちらを使うかという道具の選択以上に、実行漏れや二重起動をどう防ぐか、失敗履歴をどう追うか、定期実行そのものの健全性をどう担保するかという設計です。
監視スクリプトを監視する視点とも言えます。
ここまで考えてはじめて、自動化は信頼できる基盤になります。
さらに、長く使うことを前提にするなら、保守性の確保は避けて通れません。
取得処理、判定処理、通知処理を分ける。
設定値をコードから分離する。
環境差分を外部設定に逃がす。
障害時の確認手順をテンプレート化する。
こうした工夫によって、監視スクリプトは個人の便利ツールから、チームで共有できる運用資産へ変わります。
開発現場では、動くスクリプトより、他者が安全に直せるスクリプトのほうが価値を持ちます。
属人化を避けること。
その重要性は見過ごせません。
ここまでの内容を要点として整理すると、GPUサーバー運用を安定させるために意識すべき軸は次の通りです。
- 監視対象を目的に沿って絞り込む
- GPUだけでなくCPU、メモリ、ディスク、プロセスも合わせて観測する
- ログは保存量より構造を重視する
- 定期実行の信頼性まで含めて自動化を設計する
- 将来の修正や通知連携を見据えて責務分離する
- 障害時の確認順序を標準化しておく
これらを踏まえると、シェルスクリプトは決して古い道具ではありません。
むしろ、Linux上で動くGPUサーバー運用においては、依然として最小コストで高い効果を出しやすい選択肢です。
もちろん、大規模環境では専用の監視基盤や可観測性ツールが必要になる場面もあります。
ただ、その前段階として、あるいは併用する補助層として、シェルスクリプトの価値は非常に高いままです。
小さく始めて、必要に応じて広げる。
この拡張可能性も魅力です。
結局のところ、AI開発エンジニアにとって重要なのは、モデルを動かす技術だけではありません。
そのモデルを安定して、再現性高く、継続的に動かし続ける運用設計まで含めて考えられることです。
GPUサーバーは計算資源であると同時に、日々の開発を支える生産基盤でもあります。
その基盤を人の記憶や気合いに任せるのか、仕組みとして整えるのか。
答えは明らかでしょう。
監視とログ収集の自動化は、派手さはなくても、AI開発の足腰を確実に強くする実践です。
堅実だが効果の大きい改善。
その代表例です。


コメント