Aufgabe und Annotierungseinheit bestimmen
Notieren Sie vor dem Sammeln, was das Modell lernen oder bewerten soll und was ein Mensch anhand eines einzelnen Datensatzes entscheiden kann. Sie können beispielsweise empfangene MachineLearning-Kommentare lokal prüfen, um Kategorien zu entwickeln. Behandeln Sie die erste Seite nicht als Zufallsstichprobe der gesamten Community. Reddit Datasets ist ein unabhängiges historisches Archiv ohne Reddit-Verbindung oder Zusage einer vollständigen Abdeckung.
Legen Sie Einschlussregeln, benötigte Felder und eine Option für wegen fehlenden Kontexts nicht beurteilbare Fälle fest. min_score setzt einen numerischen Schwellenwert, sortiert aber nicht und bestätigt keine Qualität. Der vorhandene Punktestand ist dadurch kein Label für Stimmung oder Richtigkeit. q ist Textsuche und kann die Auswahl verändern. Begründen Sie diese Filter in Ihrer Beschreibung, damit andere verstehen, welches Material durch Ihre Entscheidung ausgeschlossen wurde.
Trennen Sie die Sammlungsbeschreibung von den Originaldatensätzen. Darin können Route, wirksame Parameter, Abrufzeit und Regelversion stehen. Dies ist lokale Dokumentation, kein vom Dienst erstelltes Herkunftsmanifest. Felder können fehlen und das Archiv kann sich ändern. Die Nachvollziehbarkeit Ihrer Arbeit bestätigt weder Echtheit einzelner Beiträge noch Verzerrungsfreiheit oder Eignung zum Modelltraining. Halten Sie sich an das tatsächlich verfügbare Material und kennzeichnen Sie die Grenzen.
Eine Seite abrufen und verfügbare Belege aufbewahren
Beginnen Sie mit GET https://api.redditdatasets.com/v1/comments?subreddit=MachineLearning&limit=3, dem Startseitenbeispiel. Es fordert höchstens drei Kommentare der Community an, ohne Zufallsauswahl oder Massendownload. Authentifizieren Sie serverseitig mit X-API-Key: <Schlüssel> oder Authorization: Bearer <Schlüssel>. Die Schlüsselseite erläutert die Ausgabe vor Zahlung; schließen Sie Geheimnisse aus öffentlichen Beschreibungen und Annotierungsdateien aus. posts dient Beiträgen, search erlaubt ohne kind-Einschränkung beide Typen.
Prüfen Sie HTTP und data vor Aufnahme von Beispielen. Sichern Sie vorhandene Werte, markieren Sie fehlende und protokollieren Sie Ausschlussgründe. from und to filtern created_utc mit YYYY-MM-DD UTC einschließlich des gesamten letzten Tages, nicht den Archiveingang. /v1/item benötigt id und kann die Referenz verfehlen. parent_id und link_id erlauben nur bei Vorhandensein lokale Beziehungen, keine Abfragefilter oder Garantie des vollständigen Kontexts. Ergänzen Sie fehlende Eltern nicht als erfundene Quelltexte.
Speichern Sie echte Antwort und Pagination vor Textbereinigung. limit und page reichen von 1 bis 100, eine Anfrage pro Seite. _doc sortiert weder nach Zeit noch Relevanz oder Punktestand. Lesen Sie total mit relation: eq ist exakt für die Abfrage, gte eine Untergrenze und unknown unzuverlässig, möglicherweise null. Seitenabrufe, Datumsfenster oder Deduplizierung beweisen weder Vollständigkeit noch die Eindeutigkeit der Datensätze. /v1/subreddits sucht nur Namen mit prefix und limit, ohne page; die Route prüft keine zeitliche Abdeckung.
Labels und Teilmengen als eigene Entscheidungen ergänzen
Bewahren Sie Quelltext, Labels und Ausschlussgründe getrennt auf. Sie können Annotierungsanweisungen versionieren und Meinungsverschiedenheiten zur Teamprüfung festhalten. Wenn Sie Training und Evaluation trennen, untersuchen Sie in den empfangenen Daten wiederholte Kennungen, ähnliche Texte und vorhandene Beziehungen vor der Gruppenzuweisung. Diese lokale Prüfung kann Überschneidungen aufdecken, garantiert aber weder die Abwesenheit von Datenlecks zwischen Teilmengen noch von unbekannten Beziehungen oder Duplikaten im gesamten Archiv.
Für erneute Verarbeitung verwenden Sie die gespeicherte Kopie samt Codeversionen und Annotierungsregeln. Ein neuer entfernter Abruf ist eine weitere mögliche Sammlung, keine unveränderliche Version der vorherigen. Beschreiben Sie empfangene Daten und Transformationen ohne Zusage von Repräsentativität, wissenschaftlicher Gültigkeit oder Modellleistung. Beachten Sie geltendes Recht und Rechte Dritter beim Aufbewahren und Teilen; der API-Zugang ersetzt diese Verantwortung nicht. Die Prüfung des Datenprodukts bleibt Aufgabe Ihres Teams.
Jeder erfolgreiche Abruf kostet einen Credit, auch leer oder wiederholt: $1 für 1000 Anfragen, Mindestaufladung $50 für 50000 bezahlte Credits. Die 100 Testcredits sind bedingt. Ungültige Anfragen belasten nicht; Fehler beim Quelldienst erstatten die Reservierung. Antwortverlust kann einen berechneten Erfolg verdecken; lokale Ablehnung von Beispielen erstattet ihn nicht. Dokumentation und Preise erläutern den Rahmen: 400 korrigieren, bei 401 Schlüssel, bei 402 Guthaben prüfen und bei 429 Wiederholungen mit Pausen begrenzen. /v1/status zertifiziert kein Korpus und prüft nicht die Suche.
