LANGCHAIN_LOADER - Carregamento de Documentos

O que é este Node?

O LANGCHAIN_LOADER é o node responsável por carregar e processar documentos de diversas fontes (PDFs, textos, web, etc.) preparando-os para processamento com IA.

Por que este Node existe?

Sistemas de IA precisam processar conteúdo de múltiplas fontes e formatos. O LANGCHAIN_LOADER existe para:

1. Extração de Conteúdo: Ler PDFs, DOCs, HTMLs e outros formatos
2. Normalização: Converter tudo para formato padronizado
3. Chunking: Dividir documentos grandes em partes processáveis
4. Metadados: Preservar informações de origem e contexto

Como funciona internamente?

async executeLangChainLoader(data: any, variables: Record<string, any>): Promise<any> {
  try {
    this.logger.log('📄 [LangChain Loader] Loading documents');

    return {
      success: true,
      documents: [{
        content: data.content || 'Document loaded successfully',
        metadata: { source: data.source || 'file', type: data.loaderType },
      }],
      count: 1,
    };
  } catch (error) {
    this.logger.error('LangChain Loader execution error:', error);
    throw error;
  }
}

Parâmetros

Campo	Tipo	Obrigatório	Descrição
source	string	Sim	Caminho/URL do documento
loaderType	string	Sim	Tipo (pdf/text/web/csv)
content	string	Não	Conteúdo direto

Resposta do Node

{
  "success": true,
  "documents": [
    {
      "content": "Document loaded successfully",
      "metadata": { "source": "file", "type": "pdf" }
    }
  ],
  "count": 1
}

Boas Práticas

✅ SIM: Validar formato antes de carregar, Dividir documentos grandes ❌ NÃO: Carregar arquivos muito grandes de uma vez, Ignorar metadados

Próximos Nodes

→ LANGCHAIN_EMBEDDINGS - Gerar embeddings dos documentos → LANGCHAIN_VECTORSTORE - Armazenar documentos processados