スクレイピング

※上の画像はシステム構成を表した生成イメージであり、実際の管理画面や成果を示す証拠ではありません。 見込み客を探し、企業サイトを調べ、相手に合わせた営業メールを書き、送信結果を記録する。この作業を毎日手で繰り返していると、商談よりも「候補探しと転記」に時間を奪われます。 そこで検討したいのが、企業の公開情報を収集するスクレイピングと、AIによる営業メール作成を連携させたリード獲得システムです。 ただし、ここでいう自動化は「集めたメールアドレスへAIが無条件に送信する仕組み」ではありません。それでは、誤送信、法令違反、利用規約違反、ドメイン評価の低下を招く危険があります。 目指すのは、次の状態です。 通常案件はルールに沿って自動処理する 根拠が不足している案件は送信しない 判断が曖昧な案件だけ人へ戻す 配信停止や苦情を即座に反映する 返信、商談、受注粗利まで一つのデータとして追跡する 受注や収益が自動的に保証されるわけではありません。それでも、企業検索、転記、下書き、記録といった反復作業を、再利用できる「営業資産」へ変えることは可能です。 この記事では、初心者が実装順序を迷わないように、次の内容を具体化します。 自動化システムの全体構成 保存すべきデータ項目 法令・利用規約を考慮した送信制御 AIに事実を創作させない入力方法 タイムアウト、再試行、重複送信の防止策 返信から受注粗利まで追うKPI 最初の7日間で作る最小構成 自動化に向かない案件の判断基準 一般的な営業自動化の記事との違いは、メール文面の作り方だけでなく、取得元URL、送信根拠、配信停止、失敗ログ、商談後の粗利まで追跡できる設計に踏み込む点です。 BtoBリード獲得自動化の全体像 システムは、次の順番で処理します。 対象市場と提案商品を定義 ↓ 許可された情報源から公開情報を収集 ↓ データを整形し、取得元URLと日時を保存 ↓ 重複企業・対象外企業・送信停止先を除外 ↓ AIが「事実・仮説・提案」を分けて下書き ↓ 法令・利用規約・品質ルールを検査 ↓ 送信可能な案件だけキューへ登録 ↓ メール配信サービスから送信 ↓ 配信、返信、商談、受注粗利を記録 ↓ 反応のよい条件を次回の抽出へ反映 スクレイピングとは、Webページから必要な情報をプログラムで取得する処理です。企業サイトの会社名、事業内容、所在地、問い合わせ窓口、採用情報などを読み取り、共通形式で保存します。 リードとは、将来顧客になる可能性がある企業や担当者です。例えば、次のように「提案理由まで説明できる条件」を設定します。 過去90日以内に営業職の求人を公開した、従業員数10〜100名程度のBtoB企業 「90日」「10〜100名」は成果が証明された数字ではなく、抽出条件の例です。実運用では、過去の受注企業、自社の対応可能範囲、想定粗利を基に調整します。 AI営業メールは、収集した事実を材料として、相手ごとの下書きを作る仕組みです。単に会社名を差し替えるのではなく、「確認できた事実」「そこから考えられる仮説」「自社から提示できる提案」を分離します。 重要なのは、AIに送信権限を直接渡さないことです。AIは文章を作成しますが、実際に送信できるかどうかは、固定ルールと送信キューが判定します。 「完全自動化」を正しく定義する 完全自動化という言葉は、しばしば「人が一切関与しない状態」と誤解されます。しかし、営業では例外処理をなくせません。 実務上の完成形は、次のようなリスクベースの自動化です。 判定 処理 送信根拠と提案根拠が明確 自動で下書き・検査・送信 情報が不足している 送信せず保留 法令・規約の判断が曖昧 人へ確認依頼 個人アドレスの可能性がある 原則として人が確認 送信拒否・配信停止に該当 自動で永久停止 AI出力が品質基準を満たさない 再生成または保留 配信APIの結果が不明 送信済み照会後に判断 「人手介入率をゼロにすること」ではなく、低リスクな定型処理だけを無人化し、高リスクな判断を確実に止めることが目標です。 ...

「見込み客を探すだけで午前中が終わる」「企業ごとに営業メールを書く余裕がない」「自動送信を試したら、返信より配信停止依頼が増えた」——BtoB営業では、リスト作成から初回接触までの反復作業が担当者の時間を奪います。 この作業を減らす方法が、スクレイピングによる企業情報の収集、AIによる適合判定、営業メール生成、送信、返信分類、CRM更新を一つの流れにする営業自動化です。 適切に設計すれば、人が毎朝リストを検索しなくても、条件に合う企業が蓄積され、送信可能と判断した相手に個別化されたメールを届けられます。人が対応するのは、判断が難しい例外や、返信・商談が発生した案件です。データと改善履歴が蓄積されるため、仕組みそのものが継続的に価値を生む「営業資産」になります。 ただし、無差別な大量送信は完全自動化ではありません。企業の評判と送信ドメインを傷つける、自動化された迷惑行為です。 本記事では、単に送信件数を増やすのではなく、対象選定、取得根拠、法令確認、品質ゲート、停止条件、収益KPIまで含めて、リード獲得システムを設計する手順を解説します。 スクレイピングとAI営業メールを連携する全体像 スクレイピングとは、Webページから必要な情報をプログラムで取得する処理です。たとえば企業サイトから、会社名、事業内容、所在地、採用状況、問い合わせ窓口などを収集します。 営業自動化の流れは、次の7工程に分けると理解しやすくなります。 公開Webページや利用を許諾されたデータソースから企業情報を取得する 表記揺れを正規化し、重複を排除する 自社サービスとの適合度をAIとルールで判定する 送信可否、営業拒否表示、除外条件を確認する 相手企業の状況に合わせてAI営業メールを生成する 品質検査を通過したメールだけを段階的に送信する 返信、商談、受注、粗利を記録し、選定条件へフィードバックする 公開・許諾データ ↓ スクレイピング ↓ 正規化・重複排除・送信可否確認 ↓ AIとルールによる適合度スコアリング ↓ 営業メール生成・品質検査 ↓ 段階的な送信 ↓ 返信分類 → CRM → 商談 ↑ ↓ └── 受注データで改善 ──┘ 一般的な解説では、「リストを集めてAIに文章を書かせる」ところで終わりがちです。本記事で扱うのは、1件の取得元から最終的な粗利までを追跡し、採算のよい条件だけを残す閉ループ設計です。 「完全自動化」という言葉も整理しておきましょう。目指すのは、正常系では人が触らず、拒否、異常値、クレーム、法的判断が必要なケースだけを例外キューへ送る運用です。 人間をゼロにするのではなく、人間の時間を売上に近い判断へ集中させる設計と考えるほうが現実的です。 Hiroの運用ログから分かる「動く自動化」と「稼ぐ自動化」の違い 2026年7月23日、Hiroのローカル運用環境を監査したところ、各サイトのcontent/posts直下には投稿Markdownが合計935本ありました。内訳は、businessが419本、ai-techが374本、real-estateが142本です。 同日の生成台帳generator/.budget_ledger.jsonには、当日11本、当該週96本という記事処理記録が残っていました。一方、同じ台帳の画像生成数は、当日・週ともに0件でした。 確認対象と集計方法は次の通りです。 sites/business/content/posts/*.md 419本 sites/ai-tech/content/posts/*.md 374本 sites/real-estate/content/posts/*.md 142本 合計 935本 generator/.budget_ledger.json articles_today: 11 articles_this_week: 96 images_today: 0 images_this_week: 0 これらは、2026年7月23日時点のリポジトリ内ファイルと生成台帳を確認した結果です。営業メールの送信実績、返信実績、売上実績を示す数字ではありません。 ...

「見込み客を探すだけで午前中が終わる」「企業ごとの営業メールを書く時間がない」「自動化したいが、誤送信や迷惑メール化が怖い」 BtoB営業では、商談より前の企業検索、情報整理、提案理由の作成、CRMへの転記に多くの時間がかかります。これらの反復作業は、スクレイピングとAIを組み合わせることで省力化できます。 ただし、スクレイパーから営業メールを直接送る設計は危険です。情報の誤取得、企業名の取り違え、配信停止済み企業への再送まで自動化されるからです。 目指すべきなのは、無差別な大量送信ではありません。 公開情報から候補企業を見つけ、根拠を保存し、送信可能な企業だけを選び、異常時には自動停止する営業基盤 本記事では、初心者でも小さく検証できるように、最初の10社を選ぶ段階から、スクレイピング、AI営業メール、送信ゲート、KPI改善までを順番に解説します。 BtoBリード獲得自動化でできること・できないこと 自動化しやすいのは、ルールで判定できる反復作業です。 工程 自動化しやすい処理 人間が判断すべき処理 企業調査 企業名、URL、求人、ニュースの取得 その情報が提案理由になるか データ整形 重複排除、表記統一、欠損検出 同名企業の最終確認 優先順位付け 条件別のスコア計算 重要顧客への接触方針 メール作成 根拠に基づく下書き生成 推測表現、誤解、配慮の確認 送信 承認済みレコードの予約送信 苦情、例外、法務判断 効果測定 到達、返信、商談の集計 なぜ反応されたかの解釈 完全自動化は最終段階です。最初から無人送信を目指すのではなく、収集、下書き、少量送信の順に自動化範囲を広げます。 スクレイピングからAI営業メールまでの全体設計 営業自動化は、次の7層に分けると管理しやすくなります。 情報源を選ぶ 公開情報を取得する データを整形・保存する 対象企業をスコアリングする AIで営業メールの下書きを作る 法務・品質ゲートを通す 送信結果を計測し、条件を改善する 重要なのは、スクレイパーと送信機能の間にデータベースと審査工程を置くことです。 公開情報 ↓ スクレイピング ↓ 取得データ保存 ↓ 重複排除・鮮度確認 ↓ 抑止リスト照合 ↓ AI下書き ↓ 事実・法務・品質検査 ↓ 送信キュー ↓ CRM・KPI集計 取得エラーを誤送信へ直結させないため、送信キューには審査を通過したレコードだけを登録します。 Hiro運営サイトの実行ログで確認した「止める設計」 この記事の設計根拠には、Hiroが運営するauto-ai-blogのローカル実行結果も使用しています。 ...

「見込み客を探すだけで午前中が終わる」「企業ごとの営業メールを書く時間がない」「自動送信したいが、誤送信や迷惑メール判定が怖い」 BtoB営業では、商談そのものよりも、企業検索、情報整理、提案理由の作成、CRMへの転記に時間を取られがちです。 これらの作業は、次のパイプラインに分解できます。 公開情報から候補企業を収集する 対象外企業と重複を除外する 提案根拠がある企業だけを採点する AIが企業別の営業メールを下書きする 法務・品質ゲートを通過した文面だけを承認する 返信、商談、配信停止、苦情を記録する 結果を次回のターゲット条件へ反映する この仕組みを構築すれば、毎朝ゼロから営業リストを探す必要はありません。夜間に候補企業を収集し、翌朝には「連絡する理由」「取得元」「AI下書き」「送信可否」が並んだ状態を作れます。 ただし、BtoBリード獲得の自動化は、無差別な大量送信ではありません。取得先の利用規約、個人情報、広告宣伝メールの規制、送信ドメインの評価を守り、異常時に自動停止できる設計が前提です。 本記事では、初心者が10社の手作業検証から始め、スクレイピングとAI営業メールを段階的に自動化する手順を解説します。 BtoBリード獲得の自動化とは BtoBのリード獲得とは、将来顧客になる可能性がある企業との接点を作る活動です。 たとえば、採用支援会社が「営業職を募集中のSaaS企業」を見つけ、求人ページを根拠にサービスを提案する活動が該当します。 営業自動化システムは、次の7層に分けると管理しやすくなります。 情報源 企業公式サイト、官公庁の公開データ、業界団体、プレスリリースなど スクレイピング 企業名、公式URL、事業内容、採用状況などを取得する処理 データ整形 表記ゆれ、重複、欠損、古い情報を整理する処理 リードスコアリング 課題シグナルや対象条件を点数化する処理 AI営業メール生成 確認できた事実から提案理由とメール下書きを作る処理 法務・品質ゲート 営業拒否表示、根拠不足、重複送信、誤った固有名詞などを検査する処理 CRM・改善ログ 返信、商談、失注、配信停止、苦情を記録する仕組み スクレイパーからメール送信機能を直接呼び出してはいけません。取得データをいったん保存し、重複排除、抑止リスト照合、根拠確認を通過したレコードだけを送信候補へ移します。 この分離により、誤取得がそのまま誤送信につながる事故を防げます。 実行ログから確認できた自動化資産の条件 私は2026年7月19日、このサイトのローカルリポジトリを実際に確認しました。検証時のGitコミットは8ad0a28です。 記事数は、次のPowerShellコマンドと同等の条件でMarkdownファイルを集計しました。 rg --files sites/ai-tech/content/posts -g "*.md" rg --files sites/business/content/posts -g "*.md" rg --files sites/real-estate/content/posts -g "*.md" 集計結果は次のとおりです。 サイト Markdownファイル数 対象ディレクトリ AI・テック 309本 sites/ai-tech/content/posts ビジネス 380本 sites/business/content/posts 不動産 118本 sites/real-estate/content/posts 合計 807本 3ディレクトリの合計 これは公開済みURL数、検索流入、営業施策の成果ではありません。確認時点のローカル作業ツリーに存在した記事ファイル数です。下書きや未公開ファイルが含まれる可能性があるため、公開本数としては扱えません。 同じリポジトリでは、次の運用設定も確認できました。 generator/config.yamlで本文の目安を5,000〜7,000字に設定 同ファイルのsite_mapで3サイトへの振り分けを管理 generator/ai_slop_guidelines.jsonで最低品質スコアを8に設定 同JSONに独自情報、数字の根拠、画像、限界、読後アクションなど10項目の検査条件を保存 run_daily.batからscripts/run_daily_guarded.pyを起動 実行前に日次・週次の生成上限を確認し、上限到達時は生成を止める この807本から「営業メールを自動化すれば売上が増える」とは結論づけられません。確認できるのは、設定、生成、検査、配信を分離し、上限と停止条件をコード化すれば、反復作業を蓄積可能な運用へ変えられるという点です。 ...

BtoB営業で時間を奪われるのは、商談そのものよりも、その前段にある作業です。 見込み客リストを探す 企業サイトや採用情報を確認する 相手ごとにメール文面を考える 送信後の反応を集計する 反応が悪い理由を探す この作業を毎日手で続けると、営業担当者の時間は「売ること」ではなく「探すこと」に吸われます。 この記事では、BtoBのリード獲得を、スクレイピングとAI営業メールで自動化する方法を解説します。狙うのは、無差別にメールをばらまく仕組みではありません。公開情報をもとに候補企業を集め、送ってよい相手を絞り、文面を生成し、結果を記録して改善する「営業資産」を作ることです。 先に注意点を明確にします。広告・宣伝メールには、特定電子メール法や特定商取引法上の規制があります。個人名、個人メール、担当者情報を扱う場合は、個人情報保護法の確認も必要です。この記事は一般的な実務設計の解説であり、法務判断は必ず専門家または自社の法務担当に確認してください。 まず決めること：完全自動送信より「自動で絞り、人が確認する」から始める 初心者が最初に失敗しやすいのは、いきなり全自動送信を目指すことです。 最初に作るべきなのは、次の流れです。 公開情報から候補企業を集める 条件に合う企業だけをスコアリングする AIで営業メールの下書きを作る 人間がレビューして送信可否を判断する 結果を記録し、週1回改善する 最初のゴールは「寝ている間に勝手に売れる」ではありません。最初のゴールは、人間が見込み客探しと文面作成に使う時間を減らし、判断品質をログで改善できる状態です。 Hiroが運用している auto-ai-blog でも、同じ考え方で自動化資産を作っています。2026年7月13日にローカル環境で確認したところ、Markdown記事は sites/ai-tech/content/posts に276本、sites/business/content/posts に331本、sites/real-estate/content/posts に106本ありました。generator/config.yaml では記事生成文字数が5000〜7000字に設定され、Cloudflare Pagesの3サイト配信も定義されています。run_daily.bat は scripts/run_daily_guarded.py を起動する構成です。 これは営業リード獲得そのものではありませんが、「収集、生成、配信、検証を仕組みにする」という点では同じです。営業でも、属人的な作業をログが残る工程に変えることができます。 全体像：スクレイピングとAI営業メールの役割 BtoBリード獲得の自動化は、次の5工程に分けると設計しやすくなります。 1. リード候補を集める スクレイピングとは、Web上の情報をプログラムで取得する作業です。営業用途では、次のような公開情報が候補になります。 企業名 会社URL 業種 所在地 採用ページURL 問い合わせフォームURL プレスリリースURL 展示会・業界団体ページの掲載情報 最初から大量取得しないでください。まずは10〜30社でテストします。 保存するCSVの列は、最低限これで十分です。 company_name,url,industry,signal,contact_url,source_url,fetched_at signal には「採用ページでインサイドセールス募集」「新拠点開設」「資金調達発表」など、営業仮説の根拠を書きます。ここが空欄のリードは、AIにメールを書かせても薄い文面になりやすいです。 2. 取得してよい情報を決める 公開されている情報でも、何でも取得してよいわけではありません。 実務では、最初は次の範囲に絞るのが安全です。 企業公式サイトに掲載された会社情報 法人向け問い合わせフォーム 企業公式のニュース、IR、プレスリリース 展示会・業界団体など出典を説明できるページ 一方で、個人名、個人メールアドレス、SNSアカウント、担当者の経歴情報を扱う場合は、個人情報保護法や社内規程の確認が必要です。個人情報保護委員会は、個人情報の取扱いに関するガイドラインを公開しています。 3. robots.txt、利用規約、アクセス頻度を確認する robots.txt は、検索エンジンなどのクローラーに対して、サイト内のどのURLにアクセスしてよいかを伝えるファイルです。Google検索セントラルも、robots.txt は主にクロールトラフィック管理のために使うものだと説明しています。 ただし、robots.txt で許可されているように見えても、それだけで営業利用や再利用が許可されたことにはなりません。最低限、次を確認します。 利用規約で自動取得が禁止されていないか 問い合わせフォームへの自動投稿を禁止していないか サーバーに負荷をかけない頻度になっているか 取得した情報の保存期間を決めているか 出典URLと取得日時を保存しているか 初心者は、まず1秒に何件もアクセスする設計を避けてください。テスト段階では、対象サイトごとに間隔を空け、エラー時は停止する設計にします。 ...

「見込み客リストを作るだけで半日が終わる」「営業メールを書いても返信が少ない」「外注すると費用が重い」。BtoBのリード獲得で消耗している人の多くは、営業活動そのものより、準備作業に時間を奪われています。 この記事では、スクレイピング（Web上の公開情報を自動取得すること。例：企業名、問い合わせURL、業種などを収集する処理）と、AI営業メール（相手企業に合わせて文面を生成する仕組み）を連携させ、営業自動化の土台を作る手順を解説します。 狙うのは、単なる時短ではありません。人間が毎回リストを作り、毎回メールを書き、毎回進捗を確認する状態から抜け出し、条件に合う企業を自動で見つけ、候補を整理し、文面を作り、反応を計測する「自動化資産」を持つことです。収益や案件獲得を保証する話ではありませんが、仕組みを持つ人ほど、作業時間を減らしながら検証回数を増やせます。 このサイトの運用では、記事品質チェック用に scripts/validate_ai_slop.py と generator/ai_slop_guidelines.json を使っています。ローカル確認時点のガイドラインには、fetched_at: 2026-06-26T00:00:00+09:00、minimum_score: 8、チェック項目として「固有データ」「視覚的証拠」「限界」「読了後の具体アクション」が含まれていました。この記事もその前提に沿って、一般論で逃げず、実装順序、判断基準、運用上の限界まで書きます。 全体像：スクレイピングからAI営業メールまでの流れ BtoBの営業自動化は、次のようなパイプラインで考えると理解しやすくなります。 ターゲット条件を決める 例：東京都の採用中SaaS企業、士業事務所、製造業、店舗運営会社など。 公開情報を集める スクレイピングで企業名、URL、問い合わせページ、採用ページ、サービス内容を取得します。 不要な候補を除外する 既存取引先、競合、問い合わせ不可の企業、対象外業種を除きます。 AIで営業仮説を作る 例：「採用ページにエンジニア募集があるため、採用広報支援を提案できる」といった文脈を生成します。 営業メールを生成する 相手のWebサイト情報をもとに、定型文ではない一次接触文を作ります。 送信前チェックを入れる 法令、配信停止導線、重複送信、NGワード、誤情報を確認します。 反応を記録する 開封、返信、商談化、受注、配信停止、苦情をログに残します。 この流れを一度作ると、毎回ゼロから営業リストを作る必要が減ります。手作業で営業する人は「今日の作業量」で勝負しますが、自動化する人は「仕組みが回った回数」で検証できます。ここが、不労所得的な発想に近い部分です。完全放置で収益が出ると断定はできません。ただし、リード獲得の反復作業をソフトウェアに移すほど、人間の時間を使わずに商談機会を増やす設計に近づきます。 ステップ・バイ・ステップ：作業順序 1. ターゲットを「取得できる条件」に分解する 最初に決めるのは、理想の顧客像ではなく、機械が判定できる条件です。 例： 業種：Web制作会社、税理士事務所、工務店 地域：東京、大阪、福岡など 企業規模：従業員数、採用ページの有無、拠点数 課題の兆候：求人掲載、古いWebサイト、問い合わせ導線の不備 連絡手段：問い合わせフォーム、代表メール、SNS 「売れそうな会社」では曖昧です。「採用ページに営業職募集があり、問い合わせフォームがあり、直近でブログ更新がある会社」なら自動判定できます。 2. データ取得先を決める スクレイピング対象は、公開ページに限定します。候補は次の通りです。 企業公式サイト 業界団体の会員一覧 店舗検索ページ 採用ページ プレスリリース 官公庁や自治体の公開名簿 Google Search Centralは、robots.txtについて「クローラーがアクセスできるURLを伝えるもの」と説明しています。また、主目的はサーバー負荷の回避であり、検索結果から隠す仕組みではないとも説明されています。スクレイピング時は、対象サイトのrobots.txt、利用規約、アクセス頻度を確認してください。 参考：https://developers.google.com/search/docs/crawling-indexing/robots/intro 3. 取得項目を最小化する 最初から大量の項目を取ると壊れやすくなります。初期版では以下で十分です。 項目 用途 企業名 メール冒頭、CRM管理 URL 重複排除、根拠確認 問い合わせURL 送信導線 業種メモ セグメント分類 課題の兆候 AI文面生成 取得日時 鮮度管理 取得元 監査用ログ 取得可否 失敗原因の分析 送信可否 人間の承認判断 このサイトの自動記事生成リポジトリでは、生成、検証、公開を分ける設計になっていました。READMEには「ローカルPCで記事生成を行い、GitHubにpushし、Cloudflare Pagesが自動デプロイする」流れが記載されています。営業自動化でも同じ考え方が使えます。つまり、取得、生成、送信、検証を分けておくと、どこで失敗したか追いやすくなります。 ...