Defina a tarefa e a unidade de anotação
Antes de coletar comentários, escreva o que o modelo deverá aprender ou avaliar e o que uma pessoa pode decidir a partir de um registro. Por exemplo, prepare uma revisão local de comentários recebidos de MachineLearning para elaborar suas categorias. Não trate a primeira página como amostra aleatória da comunidade inteira. O Reddit Datasets é um arquivo histórico independente, sem afiliação ao Reddit ou cobertura completa garantida.
Defina regras de inclusão, campos necessários e uma opção para casos que não possam ser julgados por falta de contexto. min_score aplica um limite numérico sem ordenar ou certificar qualidade; não transforma a pontuação disponível em rótulo de sentimento ou correção. q é busca textual e pode alterar a seleção. Justifique esses filtros na ficha para que outra pessoa entenda o que foi excluído por decisão sua.
Separe a ficha da coleção dos registros originais. Nela você pode guardar rota, parâmetros efetivos, momento da recuperação e versão das regras. Isso é documentação local, não um manifesto emitido pelo serviço. Os campos podem faltar e o arquivo pode mudar. A rastreabilidade do trabalho não certifica autenticidade de cada publicação, ausência de viés ou adequação do resultado para treinar um modelo. Descreva apenas as evidências disponíveis.
Recupere uma página e preserve a evidência disponível
Comece por GET https://api.redditdatasets.com/v1/comments?subreddit=MachineLearning&limit=3, o exemplo inicial. Pede até três comentários da comunidade, sem amostragem aleatória ou download em massa. Autentique pelo servidor com X-API-Key: <chave> ou Authorization: Bearer <chave>. A página Obter chave API explica a emissão antes do pagamento; exclua segredos de fichas públicas e arquivos de anotação. posts serve para posts e search permite ambos os tipos quando kind não restringe a busca.
Valide HTTP e data antes de incorporar exemplos. Preserve os valores presentes, marque ausências e registre por que excluiu um registro. from e to filtram created_utc com datas YYYY-MM-DD UTC, incluindo o último dia inteiro, não a entrada no arquivo. /v1/item exige id e pode não encontrar a referência. parent_id e link_id só permitem relações locais quando presentes; não são filtros de consulta nem garantem recuperar todo o contexto.
Guarde a resposta real e a paginação antes de limpar texto. limit e page aceitam de 1 a 100, com uma chamada por página. _doc não ordena por tempo, relevância ou pontuação. Leia total com relation: eq é exato para a consulta, gte é limite inferior e unknown indica total não confiável, possivelmente null. Percorrer páginas, dividir datas ou remover duplicatas não prova exaustividade ou registros únicos. /v1/subreddits só busca nomes com prefix e limit, sem page; não verifica cobertura temporal.
Adicione rótulos e partições como decisões próprias
Guarde texto-fonte, rótulos e motivos de exclusão separadamente. Você pode versionar as instruções de anotação e registrar desacordos para revisão da equipe. Se decidir separar treinamento e avaliação, examine nos registros recebidos identificadores repetidos, textos semelhantes e relações disponíveis antes de distribuir os grupos. Essa verificação local pode detectar alguns cruzamentos, mas não garante ausência de vazamento entre partições, relações desconhecidas ou duplicatas em todo o arquivo.
Para repetir o processamento, use a cópia salva com as versões do código e das regras de anotação. Uma nova recuperação remota é outra coleção possível, não uma versão imutável da anterior. Descreva o que recebeu e suas transformações sem anunciar representatividade, validade científica ou desempenho garantido do modelo. Respeite as leis aplicáveis e os direitos de terceiros ao guardar ou compartilhar materiais; o acesso à API não substitui essa responsabilidade.
Cada recuperação bem-sucedida custa um crédito, inclusive vazia ou repetida: $1 por 1000 solicitações e recarga mínima de $50 por 50000 créditos comprados. Os 100 de teste são condicionais. Pedidos inválidos não debitam; falhas na origem devolvem a reserva. Uma desconexão pode ocultar um sucesso cobrado, e rejeitar exemplos localmente não o reembolsa. Consulte preços e documentação: corrija 400, confira chave com 401, saldo com 402 e limite repetições com espera em 429. /v1/status não certifica o corpus nem testa o mecanismo de busca.
