Підготуйте вибірку для розмітки й опишіть отриманий матеріал

Отримуйте історичні коментарі Reddit і формуйте локальну вибірку. Фіксуйте доступні метадані, правила відбору та вилучення без обіцянки повного датасету.

Отримати API-ключ

Приклад запиту

cURL

curl --fail-with-body -H "Authorization: Bearer YOUR_API_KEY" "https://api.redditdatasets.com/v1/comments?subreddit=MachineLearning&limit=3"

Специфікацію набору складає куратор

Reddit Datasets надає кураторам наборів даних для машинного навчання доступ для читання до незалежного історичного архіву Reddit. Це не офіційний сервіс Reddit, без оновлень у реальному часі, Reddit OAuth, публікації, голосування та приватних повідомлень. Ви самі створюєте вибірку та її специфікацію. API не постачає каталогу готових розмічених наборів, сертифіката походження, випадкової вибірки чи пакета масового завантаження.

Почніть локальну специфікацію із завдання моделі, правил включення, маршрутів, фільтрів і використаних файлів відповідей. Записуйте доступні вихідні ідентифікатори, спільноти та час створення без вигаданих значень замість пропусків. Відокремлюйте спостережувані метадані від інтерпретації й міток розмітки. Архівна оцінка може бути наявною, хоча голосування недоступне; числовий поріг не підтверджує правильності тексту, експертності автора, відсутності спаму чи придатності запису для навчання.

Повнота охоплення, незмінність результатів, постійна доступність і стала схема не гарантовані. Внутрішній порядок _doc не є часом, релевантністю, оцінкою чи випадковим відбором. Пізніше той самий запит може повернути інший матеріал. Зберігайте фактично отримані записи, потрібні локальному процесу. Докладна специфікація пояснює ваші рішення, але не підтверджує повного ланцюжка походження, репрезентативності вибірки чи наукової якості підсумкового набору.

Перевірте невелику сторінку коментарів до розмітки

Використовуйте GET https://api.redditdatasets.com/v1/comments?subreddit=MachineLearning&limit=3. comments обмежує маршрут коментарями, subreddit=MachineLearning вибирає спільноту, limit=3 запитує не більше трьох записів на типовій першій сторінці. Назва спільноти — фільтр, не доказ охоплення чи експертності авторів. Передавайте X-API-Key: <ключ> або Authorization: Bearer <ключ> зі свого сервера. Обидва заголовки використовують ключ архіву цього домену, а не токен Reddit OAuth.

Синтетичний фрагмент відповіді, лише для пояснення: {"data":[{"id":"demo-comment","kind":"comment","subreddit":"MachineLearning","text":"Демонстраційний коментар."}],"pagination":{"page":1,"limit":3,"total":1,"relation":"eq"},"credits":{"cost":1,"balance":99}}. Реального запиту не виконували; запис, ідентифікатор і баланс вигадані. Приклад показує один плоский запис, не фактичний склад спільноти, обов’язковий перелік полів чи готовий розмічений елемент. Реальна відповідь може містити менше записів, пропуски полів або не містити збігів.

Після отримання реальної сторінки перевірте data й збережіть вихідну відповідь до створення черги розмітки. Власні мітки, рішення розмітників і причини вилучення розміщуйте в окремих локальних полях або файлах. Наявні parent_id та link_id допускають локальне групування без повної розмови чи ланцюжка батьківських записів. Не припускайте, що запис за відсутнім посиланням уже отримано чи що мітка куратора є фактом, повідомленим API.

Зазначте межі отримання й вартість звернень

Маршрути вмісту приймають limit і page від 1 до 100, по одному запиту на сторінку. Читайте total з relation: eq — точний підсумок запиту, gte — нижня межа, unknown — ненадійний підсумок, можливо null. Навіть точний підсумок не доводить повного отримання чи повного охоплення архіву. Додаткові сторінки, поділ дат і локальне усунення дублікатів не роблять вибірку вичерпною, унікальною чи статистично репрезентативною.

Кожне успішне отримання коштує один кредит, включно з порожнім і повторним: $1 за 1000 запитів. Некоректні запити не списуються; збій джерела повертає резерв. Тайм-аут клієнта може приховувати оплачений успіх, а успішний повтор коштує ще один кредит. Локальне вилучення під час розмітки не скасовує оплати отримання. Мінімальне платне поповнення $50 дає 50000 кредитів; придбані кредити не згорають, підписок немає.

Реєстрація за електронною поштою й паролем довжиною 12–72 байти UTF-8 показує ключ один раз одразу, до оплати. Умовні 100 пробних кредитів залежать від спільного захисту мережі від зловживань. Обліковий запис, ключ і баланс стосуються redditdatasets.com. До розширення збирання прочитайте документацію, ціни, сторінку ключа та посібник. Публічний статус безоплатний і не потребує ключа, але не перевіряє пошуку, якості вибірки, ключа чи балансу.