Aprenda a configurar e usar modelos LLM localmente com LangChain e Ollama. Passo a passo com ambiente virtual, instalação e exemplo prático.
O Ollama permite rodar LLMs localmente com performance otimizada, sem necessidade de conexão com a nuvem. No artigo anterior, aprendemos a como executar um modelo de IA no PC com Ollama. Neste artigo vamos continuar o projeto configurando um ambiente virtual Python e instalar a biblioteca langchain-ollama para utilizar com o modelo de IA local, nosso Ollama. Antes de continuar é importante que seu modelo esteja já executando localmente, acesse o artigo anterior para rodar seu modelo.
Os comandos apresentados abaixo foram executados em um diretório criado para o projeto via terminal utilizando o Visual Studio Code no Windows.
Passo 1: Criar o ambiente virtual
Primeiramente, crie um ambiente virtual para isolar as dependências do projeto:
[python -m venv venv]
Passo 2: Ativar o ambiente virtual
No PowerShell (Windows), ative o ambiente com o comando:
[.venvScriptsActivate.ps1]
Passo 3: Instalar a biblioteca langchain-ollama
Instale a biblioteca que integra o LangChain com modelos servidos via Ollama:
[pip install -U langchain-ollama]
Exemplo de código: Consultando um modelo local via Ollama
Após a instalação, podemos fazer perguntas a um modelo LLM rodando localmente. No exemplo abaixo, usamos o modelo dolphin3, mas você pode substituí-lo por qualquer outro modelo disponível no Ollama, como mistral, gemma, llama3, entre outros.
Se o exemplo acima não carregar clique aqui.
Note que para inicializar o modelo use o trecho de código abaixo no qual ‘seu-modelo’ é o nome do modelo listado no ollama e a url é padrão caso não tenha alterado:
[model = OllamaLLM(model=”seu-modelo”, base_url=”http://localhost:11434″)]
Para listar os modelos disponíveis localmente em sua máquina utilize o comando:
[ollama list]
Se ficou curioso, a saída da execução do código acima foi:
[Resposta do modelo:LLM significa “Language Model”, que é um tipo de modelo de inteligência artificial treinado para gerar texto baseado em entradas de texto fornecidas por usuários. Ele pode entender e responder a perguntas, criar histórias e realizar tarefas linguísticas complexas com base no seu conhecimento acumulado durante o treinamento.]
Agora que entendeu o básico, você pode utilizar a criatividade para programar seus projetos.
