Bash でログ集計: grep・awk・sort で Web サーバーのアクセスログを分析する

このラボでは、「昨夜サイトが重かった原因を調べてほしい」と頼まれた運用担当の想定で、Web サーバーのアクセスログをコマンドラインだけで集計します。

ブラウザで開く IDE のターミナル（Linux）に、nginx 形式のアクセスログ access.log（500 行）が置いてあります。GUI ツールや Excel に持ち込まず、awk で列を取り出し、sort | uniq -c で数え、sort -rn で並べ替える、という定番の組み合わせを手に覚えさせます。最後に一連の処理をシェル スクリプトにまとめ、誰でも同じ結果を再現できるようにします。

学習目標:

• パイプ（|）でコマンドをつなぎ、awk で特定の列だけを取り出す
• sort | uniq -c | sort -rn で「値ごとの件数を多い順に」数える
• awk の条件式（$9 == 404）と集計（s += $10）を使う
• 結果をファイルに保存し、再実行できるスクリプト report.sh にまとめる

• ターミナルで ls / cat / cd を使ったことがある

• status_counts.txt / top_ips.txt / not_found_paths.txt / bytes_total.txt が期待どおりの内容で作成されていること
• report.sh を実行し直すと 3 つの集計ファイルが同じ内容で再生成されること

1. ブラウザ IDE を開いてログを眺める

• ラボ画面の ブラウザ IDE を開く をクリックし、表示されているパスワードでサインインする
• README.md を開いて課題を読み、Terminal → New Terminal でターミナルを開く
• ログの行数と先頭 3 行を確認する

wc -l access.log
head -3 access.log

• 1 行が IP - - [日時] "メソッド パス HTTP/1.1" ステータス バイト数 "-" "ユーザーエージェント" の形であることを確認する

• GNU awk ユーザーズガイド（英語）
• GNU Coreutils: sort / uniq / head（英語）
• nginx のログ形式（英語）
• Bash リファレンス マニュアル（英語）