Définir la tâche et l’unité d’annotation
Avant de collecter les commentaires, écrivez ce que le modèle doit apprendre ou évaluer et ce qu’une personne peut décider à partir d’un seul enregistrement. Vous pouvez, par exemple, examiner localement les commentaires reçus de MachineLearning pour élaborer vos catégories. Ne traitez pas la première page comme un échantillon aléatoire de toute la communauté. Reddit Datasets est indépendant de Reddit et ne garantit pas une couverture exhaustive.
Les requêtes de recherche permettent de filtrer par texte, sous-communauté, auteur ou score minimal. Le filtrage par score minimal agit uniquement comme un critère de sélection, sans garantie de nettoyage automatique du bruit statistique. L'application de ces filtres peut introduire des biais de sélection dans les résultats retournés pour vos modèles de machine learning. q reste une recherche textuelle. Justifiez ces filtres dans votre fiche et prévoyez une catégorie pour les cas impossibles à juger faute de contexte. Le score disponible n’est pas une étiquette de sentiment ou de correction.
Séparez la fiche de collection des enregistrements originaux. Vous pouvez y consigner route, paramètres effectifs, heure de récupération et version des règles. Cette documentation est locale, pas un manifeste émis par le service. Des champs peuvent manquer et les archives peuvent changer. La traçabilité de votre travail ne certifie ni authenticité de chaque publication, ni absence de biais ou aptitude du résultat à entraîner un modèle.
Récupérer une page et garder les éléments disponibles
Partez de GET https://api.redditdatasets.com/v1/comments?subreddit=MachineLearning&limit=3, l’exemple de l’accueil. Il demande au plus trois commentaires de cette communauté, sans échantillonnage aléatoire ou téléchargement massif. Authentifiez l’appel serveur avec X-API-Key: <clé> ou Authorization: Bearer <clé>. La page Obtenir une clé API explique son émission avant paiement ; excluez les secrets des fiches publiques et des fichiers d’annotation. posts sert aux publications et search admet les deux types sans restriction kind.
Validez HTTP et data avant d’ajouter des exemples. Gardez les valeurs présentes, marquez les absences et consignez les raisons d’exclusion. from et to filtrent created_utc avec YYYY-MM-DD UTC, dernier jour entier inclus, pas l’entrée dans les archives. /v1/item exige id et peut ne pas trouver la référence. parent_id et link_id permettent seulement des relations locales lorsqu’ils existent ; ce ne sont pas des filtres et ils ne garantissent pas tout le contexte.
Conservez la réponse réelle et sa pagination avant nettoyage. limit et page vont de 1 à 100, avec un appel par page. _doc ne trie ni par temps, ni par pertinence ou score. Lisez total avec relation : eq est exact pour la requête, gte une borne inférieure et unknown un total non fiable, éventuellement null. Parcourir des pages, découper les dates ou dédupliquer ne prouve ni exhaustivité ni enregistrements uniques. /v1/subreddits cherche seulement des noms avec prefix et limit, sans page ; il ne vérifie pas la couverture temporelle.
Ajouter étiquettes et partitions comme décisions propres
Gardez séparément texte source, étiquettes et motifs d’exclusion. Vous pouvez versionner les consignes d’annotation et noter les désaccords pour révision en équipe. Si vous séparez entraînement et évaluation, examinez parmi les données reçues les identifiants répétés, les textes semblables et les relations disponibles avant d’affecter les groupes. Ce contrôle local peut repérer certains recoupements, mais ne garantit pas l’absence de toute fuite entre partitions, de relations inconnues ou de doublons dans l’ensemble des archives.
Pour relancer le traitement, utilisez la copie sauvegardée avec les versions du code et des règles d’annotation. Une nouvelle récupération distante est une autre collection possible, pas une version immuable de la précédente. Décrivez ce que vous avez reçu et transformé sans annoncer représentativité, validité scientifique ou performances garanties du modèle. Respectez les lois applicables et les droits des tiers lors de la conservation ou du partage ; l’accès à l’API ne remplace pas cette responsabilité.
Chaque récupération réussie coûte un crédit, même vide ou répétée : $1 pour 1000 appels, achat minimal de $50 pour 50000 crédits. Les 100 crédits d’essai sont conditionnels. Les requêtes invalides ne débitent pas ; les échecs en amont restituent la réservation. Une déconnexion peut masquer une réussite facturée et un rejet local d’exemples ne la rembourse pas. Consultez tarifs et documentation : corrigez 400, vérifiez la clé avec 401, le solde avec 402 et limitez les relances avec attente pour 429. /v1/status ne certifie pas le corpus et ne teste pas la recherche.
