-
@ topickapp (IT技術系ニュースサイト)
2025-02-26 13:14:54https://dev.classmethod.jp/articles/llms-txt-for-ai-crawlers/ 急増するAIクローラー対策として「llms.txt」を導入してみた | DevelopersIO AIクローラー対策として「llms.txt」を導入した事例を紹介しています。 llms.txtに記載した、LLMに適切なクロールを促すための指示内容について解説しています。 過剰なクロールを禁止する指示や、サイトの正式な公開URLの明示などが含まれています。