Визначте завдання та потрібні свідчення
Почніть із локальної специфікації: завдання моделі, одиниці розмітки, вибраної спільноти й правил включення. Для першої невеликої перевірки вивчіть коментарі, отримані з MachineLearning, замість обіцянки набору про всі обговорення машинного навчання. Архів незалежний та історичний, не офіційний сервіс Reddit і не живі дані. Він не підтверджує походження сертифікатом, правильності міток, репрезентативності чи придатності матеріалу для конкретної моделі.
Спільноти можуть відрізнятися сленгом, скороченнями та контекстом обговорень. Описуйте те, що спостерігаєте в отриманій вибірці; назва спільноти не доводить мови, експертності чи однакової якості записів. Правила очищення та їхній вплив на включення мають бути частиною вашої специфікації. Не перетворюйте вилучення незрозумілих фрагментів на непояснене рішення, після якого залишаються лише зручні приклади. Зберігайте причини вилучень окремо від вихідного тексту.
Виберіть доступні поля для збереження та правила роботи з пропусками. Запишіть маршрут, фільтри, час отримання й фактичні файли відповідей поруч із вибіркою. Метадані можуть бути відсутні, посилання — не розв’язуватися. Це документація, яку ви складаєте зі спостережуваного, а не обов’язковий сертифікат джерела для кожного запису. Зберігайте матеріал, оскільки повторне віддалене отримання не обов’язково поверне той самий вхід.
Отримайте сторінку й відокремте джерело від розмітки
Почніть із https://api.redditdatasets.com/v1/comments?subreddit=MachineLearning&limit=3 — прикладу на головній. Використовуйте X-API-Key: <ключ> або Authorization: Bearer <ключ> на сервері. Маршрут comments обмежує видачу коментарями, subreddit вибирає спільноту, limit запитує не більше трьох записів. Сторінка ключа пояснює реєстрацію до оплати та збереження одноразово показаного секрету поза відкритими файлами розмітки. Наявність спільноти в параметрі не гарантує доступності її записів.
Маршрути вмісту приймають q, subreddit, author, kind, from, to, min_score, limit і page. kind використовує post або comment; спеціалізовані маршрути зберігають обмеження типу. Дати використовують YYYY-MM-DD UTC за created_utc з повним включенням останнього дня to. min_score задає поріг без сортування, перевірки експертності чи видалення спаму. Ці фільтри виконують пошук, а не випадковий відбір чи автоматичне балансування вашого набору.
Перевірте data, потім перенесіть вибрані записи до власної черги розмітки з локальним зіставленням вихідній відповіді. Зберігайте мітки та причини вилучення окремо від оригінального тексту. Плоскі записи з наявними parent_id або link_id можна групувати локально без повної розмови. Фільтрів пошуку за цими ідентифікаторами немає. /v1/subreddits приймає prefix і limit для пошуку назв, не гарантованого охоплення потрібної теми.
limit і page приймають від 1 до 100, по одній сторінці за запит. Внутрішній порядок _doc не є хронологією, релевантністю, оцінкою чи випадковим порядком. Читайте total з relation: eq — точний підсумок запиту, gte — нижня межа, unknown — ненадійний підсумок, можливо null. Повна локальна черга отриманого не доводить повного завантаження архіву. Фіксуйте знайдені межі, не представляючи пагінацію масовим експортом.
Перевірте локальний поділ і поясніть вилучення
До поділу на навчання й оцінювання перевірте повторювані ідентифікатори та доступні посилання на обговорення серед отриманих записів. Можна вирішити зберігати локально розпізнані пов’язані записи в одній частині, щоб зменшити конкретний ризик перетину. Це ваше правило поділу, не функція API й не гарантія, що знайдено всі дублікати, пов’язані розмови чи випадки попереднього використання текстів під час навчання моделей.
Опишіть, що потрапило до розмітки, що було вилучено й чому. Відрізняйте пропуск метаданих від нульового значення, власні мітки — від архівного тексту. Наявність архівної оцінки не означає можливості голосувати й не підтверджує правильності запису. Локальне сортування, усунення дублікатів і поділ дат організують вибірку без підтвердження повноти, відсутності зміщення чи однакового повторного отримання. Зберігайте вихідний матеріал окремо від результатів власної обробки.
Кожне успішне отримання коштує один кредит, навіть порожнє й повторне. Некоректні запити не списуються; збій джерела повертає резерв. Утрата відповіді клієнтом може приховувати оплачений успіх, а локальна помилка розмітки чи запису не повертає його вартості. За 400 виправте параметри, за 401 перевірте ключ і домен, за 402 — баланс, за 429 обмежте й відкладіть повтори. Обробка збереженої локальної відповіді не викликає API.
Документація описує обмеження маршрутів, ціни — $1 за 1000 успішних запитів і мінімум $50 за 50000 придбаних кредитів. Сторінка ключа пояснює умовні пробні кредити та перевипуск із підтвердженням пароля, що одразу вимикає старий ключ. Публічний /v1/status підтверджує лише HTTP-відповідь і статичний опис, не якість набору чи стан пошуку. Дотримуйтеся застосовного законодавства та прав третіх осіб під час зберігання, розмітки чи поширення вибірки.
