問いと選択条件を先に決める
取得を始める前に、モデルの用途、対象言語、コミュニティ、文章の種類、注釈の分類基準を定めます。MachineLearningの少数のコメントで方針を試す場合、それは技術系コミュニティから得た限定的な資料です。全Redditの利用者や現在の議論を代表すると解釈しないでください。Reddit Datasetsは独立した過去アーカイブであり、公式サービスやライブの取得経路ではありません。/v1/subreddits?prefix=...は名前を探す補助で、特定期間の完全な収録や全コミュニティの正確な在庫を確認する仕組みではありません。
コメントは/v1/comments、投稿は/v1/posts、一般検索は/v1/searchを使います。kindはpostまたはcommentです。qやsubredditなどで条件を絞り、必要ならfromとtoにUTCのYYYY-MM-DDを指定します。toは指定日全体を含みます。日付を決めても不変のスナップショットは作られません。min_scoreは最低スコアの条件で、並べ替え機能ではありません。低スコアの文章を除く理由と、その判断がサンプル構成に与える影響を記録します。高いスコアを正しいラベルや良質な学習データの証明としないことが大切です。
実際の取得と変換を記録する
開始例はhttps://api.redditdatasets.com/v1/comments?subreddit=MachineLearning&limit=3です。Authorization: Bearer YOUR_API_KEYとX-API-Key: YOUR_API_KEYのどちらも有効です。実値はサーバー側に置き、共有する注釈ファイルやログには出しません。出所メモには、取得先、条件、UTC取得日時、呼び出し結果、実際の保存件数を残せます。識別子や日時は返されたものだけを使い、必要な項目が欠けていれば欠損として記録します。予定件数に合わせるために文章や出所情報を作ってはいけません。
一要求100レコード、一クエリ100ページが上限です。総数のeqは正確な値、gteは下限、unknownまたはnullは不明を示します。訪問したページを全部記録しても、条件に合う記録の全件取得を証明するものではありません。文書順は無作為、時系列、関連度のいずれでもありません。重複除去を行うなら、使った識別方法と除外件数を説明します。平坦なレコードはそのまま読み、整理できます。parent_idやlink_idによる任意の関係整理で、取得できなかった親や会話を補完できるとは限りません。
注釈と評価の限界を示す
曖昧な表現、引用、切れた文脈、個人情報について、注釈担当者が判断できる規則を作ります。複数の担当者が同じ少数例を独立に読むことで解釈の差を見つける方法はありますが、これは利用者の作業でありAPIの品質保証ではありません。注釈方針の変更、文章の正規化、除外、匿名化をそれぞれ記録します。学習用と評価用の間で同じ文章や関連する会話が重複していないか確認してください。手元の資料で確認した範囲を明記し、未知の漏れや偏りまで解消したとは述べないでください。
実際に評価したローカルの版と、その作成手順を区別して保管します。同じクエリから将来同じレコードを得られる保証はなく、アーカイブの永久保管や不変性も約束されません。一括ダウンロードや無作為抽出の機能はありません。成功した空の取得も一クレジットで、クライアントの時間切れ後に成功した再試行は追加費用になる場合があります。公開かつ非課金の/v1/statusは静的範囲とHTTP応答を示すだけで、サンプルの存在や検索基盤の状態を調べません。最終説明には選択条件、実件数、変換、注釈基準、第三者の権利と残る限界を含めます。
