ウェブサイトのクローリングを長時間実行
標準出力とエラー出力を分けて保存しつつ、セッションの影響を受けないようにする。
実行コマンド
nohup ./crawler_agent.sh > crawl_results.txt 2> error_report.txt &💡 利用シーン
公開データを収集するクローラーを深夜から朝方にかけて自動実行させたい場合。
💻 実行結果例
プロセスID 4567 で実行中📝 実務メモ
エラーログを分けることで、正常結果のみを抽出しやすくなります。
⚠️ 注意点
メモリ不足が発生した場合、OSによってkillされる可能性があるため、リソース制限に注意してください。