Подготовьте выборку для разметки и опишите полученный материал

Получайте исторические комментарии Reddit и формируйте локальную выборку. Фиксируйте доступные метаданные, правила отбора и исключения без обещания полного датасета.

Получить API-ключ

Пример запроса

cURL

curl --fail-with-body -H "Authorization: Bearer YOUR_API_KEY" "https://api.redditdatasets.com/v1/comments?subreddit=MachineLearning&limit=3"

Спецификацию набора составляет куратор

Reddit Datasets предоставляет кураторам наборов данных для машинного обучения доступ на чтение к независимому историческому архиву Reddit. Это не официальный сервис Reddit, без обновлений в реальном времени, Reddit OAuth, публикации, голосования и личных сообщений. Вы сами создаёте выборку и её спецификацию. API не поставляет каталог готовых размеченных наборов, сертификат происхождения, случайную выборку или пакет массовой загрузки.

Начните локальную спецификацию с задачи модели, правил включения, маршрутов, фильтров и использованных файлов ответов. Записывайте доступные исходные идентификаторы, сообщества и время создания без вымышленных значений вместо пропусков. Отделяйте наблюдаемые метаданные от интерпретации и меток разметки. Архивная оценка может присутствовать, хотя голосование недоступно; числовой порог не подтверждает правильности текста, экспертности автора, отсутствия спама или пригодности записи для обучения.

Полнота охвата, неизменность результатов, постоянная доступность и фиксированная схема не гарантируются. Внутренний порядок _doc не является временем, релевантностью, оценкой или случайным отбором. Позднее тот же запрос может вернуть другой материал. Сохраняйте фактически полученные записи, необходимые локальному процессу. Подробная спецификация объясняет ваши решения, но не подтверждает полную цепочку происхождения, представительность выборки или научное качество итогового набора.

Проверьте небольшую страницу комментариев до разметки

Используйте GET https://api.redditdatasets.com/v1/comments?subreddit=MachineLearning&limit=3. comments ограничивает маршрут комментариями, subreddit=MachineLearning выбирает сообщество, limit=3 запрашивает не больше трёх записей на первой странице по умолчанию. Название сообщества — фильтр, не доказательство охвата или экспертности авторов. Передавайте X-API-Key: <ключ> либо Authorization: Bearer <ключ> со своего сервера. Оба заголовка используют ключ архива этого домена, а не токен Reddit OAuth.

Синтетический фрагмент ответа, только для пояснения: {"data":[{"id":"demo-comment","kind":"comment","subreddit":"MachineLearning","text":"Демонстрационный комментарий."}],"pagination":{"page":1,"limit":3,"total":1,"relation":"eq"},"credits":{"cost":1,"balance":99}}. Реальный запрос не выполнялся; запись, идентификатор и баланс вымышлены. Пример показывает одну плоскую запись, не фактический состав сообщества, обязательный перечень полей или готовый размеченный элемент. Реальный ответ может содержать меньше записей, пропуски полей или не содержать совпадений.

После получения реальной страницы проверьте data и сохраните исходный ответ до создания очереди разметки. Собственные метки, решения разметчиков и причины исключения помещайте в отдельные локальные поля или файлы. Имеющиеся parent_id и link_id допускают локальную группировку без полной беседы или цепочки родителей. Не предполагайте, что запись по отсутствующей ссылке уже получена или что метка куратора является фактом, сообщённым API.

Укажите пределы получения и стоимость обращений

Маршруты содержимого принимают limit и page от 1 до 100, по одному запросу на страницу. Читайте total с relation: eq — точный итог запроса, gte — нижняя граница, unknown — ненадёжный итог, возможно null. Даже точный итог не доказывает полного получения или полного охвата архива. Дополнительные страницы, разбиение дат и локальное удаление дублей не делают выборку исчерпывающей, уникальной или статистически представительной.

Каждое успешное получение стоит один кредит, включая пустое и повторное: $1 за 1000 запросов. Некорректные запросы не списываются; сбой источника возвращает резерв. Тайм-аут клиента может скрывать оплаченный успех, а успешный повтор стоит ещё один кредит. Локальное исключение при разметке не отменяет оплату получения. Минимальное платное пополнение $50 даёт 50000 кредитов; оплаченные кредиты не сгорают, подписок нет.

Регистрация по электронной почте и паролю длиной 12–72 байта UTF-8 показывает ключ один раз сразу, до оплаты. Условные 100 пробных кредитов зависят от общей защиты сети от злоупотреблений. Аккаунт, ключ и баланс относятся к redditdatasets.com. До расширения сбора изучите документацию, цены, страницу ключа и руководство. Публичный статус бесплатен и не требует ключа, но не проверяет поиск, качество выборки, ключ или баланс.