-
@ topickapp (IT技術系ニュースサイト)
2025-04-27 10:40:54https://zenn.dev/turing_motors/articles/9a8b51e71b1c81 自動運転データセットへのWebDatasetのIndexed Datasetの導入 この記事では、自動運転データセットへのWebDatasetのIndexed Dataset（wids）の導入について解説されています。 大量の個別ファイルを管理する課題を解決するために、widsを使用してtarファイルにアーカイブし、ランダムアクセスを可能にしています。 性能比較では、S3転送速度が大幅に向上し、データアクセスもプリフェッチ時間内に収まることが示されています。