Dr. Jackei Wong

網路內容創作與保護成為全球數位時代最受關注的議題之一。近年來，AI技術飛速發展，大量AI爬蟲於網路空間內無償擷取各類內容，用以訓練大型語言模型，這些內容往往包括新聞、文章、圖片、評論等，涵蓋廣泛領域。對於內容創作者與網站擁有者來說，這不僅意味著智財權受到挑戰，也影響到內容價值的變現能力。為解決這一困境，Cloudflare於2025年7月正式推出「Pay per crawl」功能，並聯合多家內容平台發起「內容獨立日」倡議，目標是為內容創作者爭取更公平的報酬，徹底改變AI公司長期以來免費抓取的現狀。 「Pay per crawl」功能提供網站擁有者全新的內容管理選項，不再是僅能選擇完全開放或完全封鎖AI爬蟲，而是能針對AI爬蟲的每次訪問收取費用。Cloudflare將擔任紀錄商家（Merchant of Record），協助內容擁有者設定統一價格，甚至可以針對不同的AI爬蟲制定不同的訪問策略，例如允許免費訪問、按次收費或完全禁止。這種彈性極大的設定，賦予內容創作者前所未有的自主權與變現能力。 技術層面來看，Cloudflare這套機制主要依靠HTTP狀態碼402（Payment Required）來實現。當AI爬蟲嘗試訪問受保護內容時，若未事先表明支付意圖，將收到含有定價資訊的402回應。網站擁有者可針對自身內容設定一個統一的請求單價，並可依據AI爬蟲來源進行差異化處理。值得一提的是，Cloudflare還引入了「Web Bot Auth」機制，利用Ed25519密鑰對與HTTP訊息簽名進行爬蟲身份驗證，從而防止欺詐行為。AI爬蟲則須在請求頭中加入crawler-max-price（願意支付的最高價格），或在收到402回應後加入crawler-exact-price（同意支付確切價格），才能順利取得內容。最終，所有成功交易都會在響應頭中以crawler-charged字段記錄下來。 Cloudflare強調，此次推出的Pay per crawl不僅僅是一種收費模式，更是對內容生態系統的一次革新。過去，內容創作者面對AI爬蟲無償抓取只能選擇被動接受或徹底封鎖；如今，他們可以主動為內容定價，選擇與AI公司商業合作，或堅持不允許AI抓取。這樣的轉變，讓內容創作者得以分享AI技術帶來的經濟紅利，並進一步推動內容產業的良性發展。 值得一提的是，Cloudflare還預設封鎖AI爬蟲，除非AI公司願意支付費用。這意味著，若AI爬蟲未能取得授權或未經支付，將無法訪問受保護內容。這一設定極大地提升了內容創作者的安全感，並為內容產業帶來新的商業模式。Cloudflare在後台管理系統中，提供完整的設置界面，讓網站擁有者可以輕鬆設定價格與開放策略，並隨時查看訪問紀錄與收益情況。所有爬蟲呼叫及支付活動都會被完整紀錄，並由Cloudflare進行結算與報告，讓內容創作者能夠隨時掌握自身內容的使用情況與收益變化。 目前，Pay per crawl功能已以不公開beta版本進行測試，並開放給部分出版商報名參與。Cloudflare鼓勵更多內容平台加入這一倡議，共同推動內容產業的公平發展。對於AI公司而言，這也是一次提醒：未來若想取得高品質內容，必須尊重內容創作者的權利並支付合理報酬。 總結而言，Cloudflare Pay per crawl的推出，標誌著內容產業進入一個嶄新的時代。內容創作者不僅能夠更好地保護自身權益，還能憑藉高品質內容獲取穩定的收益來源。這一措施將有效促進內容產業的創新與成長，同時為AI產業帶來更多規範與良性競爭。不論是香港、台灣還是全球各地的內容創作者，都可從這一新機制中受惠，共同迎接內容價值與智財權保護的新時代。 #內容獨立日...