注釈付けの前に、サンプルの出所と選び方を記録する

MachineLearningのコメントを少数取得して注釈方針を試します。取得条件と出所を自分で記録し、完全なデータセットや無作為抽出を前提にしない使い方を説明します。

リクエスト例

cURL

curl --fail-with-body -H "Authorization: Bearer YOUR_API_KEY" "https://api.redditdatasets.com/v1/comments?subreddit=MachineLearning&limit=3"

まず小さなコメントサンプルから

Reddit DatasetsはRedditの過去アーカイブにアクセスする独立したAPIです。Redditの公式サービスでも提携サービスでもありません。機械学習用データを準備する際は、技術的な質問と意見を区別するなど、注釈付けの目的を先に決めます。少数のコメントで判断基準を試すことはできますが、APIが正しいラベルや学習済みの分類器を提供するわけではありません。MachineLearningの全コメントが保存されているとも限りません。取得できた資料の範囲と、研究で扱いたい母集団を区別してください。

GETの例はhttps://api.redditdatasets.com/v1/comments?subreddit=MachineLearning&limit=3です。subredditは対象コミュニティ、limit=3は最大三件という取得上限です。三件の返却を保証せず、空の場合もあります。Authorization: Bearer YOUR_API_KEYまたはX-API-Key: YOUR_API_KEYが使えます。YOUR_API_KEYはプレースホルダーで、実際のキーは信頼できるサーバー側だけに設定します。Reddit OAuthのトークンではありません。ここでは架空のコメントや実行していないレスポンスを結果として示しません。成功した空の取得も一クレジットです。

出所の記録と注釈を分ける

リクエスト先、秘密を含まない条件、UTCでの取得日時、実際に保存できた件数を自分のサンプル説明に記録します。返された識別子や出所項目は保持し、存在しない日付やコミュニティ名を推測で補いません。取得日時はコメントの投稿日時やアーカイブへの収録日時とは別です。APIが全レコードの出所証明書や完成したデータセットカードを発行するわけではありません。ローカルファイルの版名を付けてもサーバーが不変になることはなく、後日同じ条件で同じ結果が返る保証もありません。

最初のページを無作為標本や均衡した標本と呼ばないでください。文書順は時系列、関連度、スコア順ではありません。min_scoreは最低スコアの条件であり、注釈の正しさや文章の品質を判定しません。曖昧な文章、欠けた文脈、個人情報をどう扱うかは注釈方針に含めます。平坦なレコードはそのまま読めるため、必ず会話ツリーを組む必要はありません。parent_idやlink_idがある場合の関係整理は任意で、存在しない親コメントや会話全体を復元するものではありません。

完成済みデータセットとは異なる範囲

一要求最大100レコード、一クエリ最大100ページです。ページを繰り返し、日付を分割し、重複を除いても、完全な取得や全レコードの一意性は証明できません。eqは正確なレコード総数、gteは下限、unknownまたはnullは信頼できる総数が不明という意味です。正確な数でも全件がローカル保存済みとは限りません。APIに一括ダウンロード、無作為抽出、不変のデータセット版はありません。学習用と評価用の分割は利用者が設計し、同一文章や関連会話の重なりを確認した範囲を説明します。

成功した取得1,000回は$1、最低$50のチャージは有料50,000クレジットです。定期契約はなく、有料クレジットは失効しません。試用100クレジットはネットワーク全体の不正利用防止条件に依存し、全アカウントに保証されません。キーは登録直後、支払い前に一度表示されます。取得料金は注釈、再利用許可、モデルの精度を購入するものではありません。第三者の権利や個人情報の扱いを利用目的に照らして検討してください。完全性、永続的なアクセス、一定の性能、将来の同一結果は保証されません。