
Uso de Ferramentas Informatizadas e Inteligência Artificial para Classificação de Decisões Judiciais: Bases de Dados do INPI e do TRF da 2ª Região
Wladmir Batista de Lara
João Pedro Dias Vidal
1. Introdução: Estágio atual do uso das ferramentas informatizadas.
O Código de Processo Civil Brasileiro (BRASIL, 2015) determina a publicação de despachos, decisões interlocutórias, dispositivos de sentenças e ementas dos acórdãos, no Diário de Justiça Eletrônico. Além de dar publicidade à decisão judicial às partes envolvidas, a publicação de ementas dos julgamentos colegiados é de suma importância para avaliação da interpretação dos dispositivos legais, verificação de precedentes judiciais, e ainda, consolidação de jurisprudência em determinado sentido.
Por esta razão, a própria formulação das ementas e acórdãos deve ser otimizada, para a melhor leitura e entendimento por parte dos operadores do Direito, além de permitir buscas e referências seguras. O Conselho Nacional de Justiça (2021) orienta a padronização na redação de ementas, apontando como vantagens a realização de diagnósticos mais precisos sobre as razões jurídicas dos magistrados, a maior acessibilidade para pesquisas acadêmicas e institucionais, e ainda, o reforço à segurança jurídica de litigantes e aplicação de precedentes pelos magistrados.
A leitura das decisões judiciais pode ser ainda auxiliada por ferramentas informatizadas, assistidas ou não por Inteligência Artificial, sendo baseadas em modelos de processamento de texto e bases previamente treinadas. Tais ferramentas podem gerar um ganho de escala, avaliando um alto número de decisões em curto espaço de tempo. No entanto, a calibragem de tais ferramentas, bem como o atual estágio tecnológico, podem se constituir em obstáculos, de modo a atrasar ou mesmo inviabilizar a aplicação de tais modelos.
Com o intuito de avaliar o estágio atual de tais ferramentas informatizadas, bem como testar a padronização da redação de decisões judiciais, foram buscadas duas bases de dados, uma do INPI – INSTITUTO NACIONAL DA PROPRIEDADE INDUSTRIAL e do Tribunal Regional Federal da 2ª Região. Busca-se responder às perguntas: É possível delegar a função de leitura e interpretação de textos à ferramentas de inteligência artificial ou aprendizado de máquina? Quais obstáculos foram encontrados em tais leituras?
2. Base de Dados de Decisões Judiciais Transitadas em Julgado no INPI.
O INPI, por determinação legal (BRASIL, 1996), deve publicar o resultado das ações judiciais que envolvem seus atos administrativos, em especial as ações de nulidade de registro de marca. Tais decisões, constantes da Revista Eletrônica da Propriedade Industrial (INPI), podem ser acessadas por meio de um documento do tipo XML, e com os códigos relativos à publicação de trânsito em julgado (código 639), pode-se consultar os dados da publicação e formar uma base de dados para interpretação posterior. O código relativo a Notificação Judicial (código 462) não foi avaliado nesta pesquisa, pois se refere apenas a notícia de ações judiciais, não havendo resultados finais, e com isto, não retornando informações sobre a sentença ou acórdão definitivo.
Foram filtrados os despachos contendo o código relativo ao trânsito em julgado, para avaliar qual tipo de decisão judicial afetou o processo de registro de marca. As ementas foram tratadas por meio de uma biblioteca do Python, e classificadas, por meio de busca de palavras-chave escolhidas para apontar se uma decisão determinada é “favorável” (por exemplo, “deferido”, “procedente”) ou “contrária” (por exemplo, “indeferido”, “improcedente”) ao autor da demanda judicial; ou se uma decisão deve ser considerada como “indeterminado”, caso a ferramenta não pudesse classificar a decisão.
Após a filtragem, a base de dados, contendo um total de 102 (cento e duas) decisões, foi classificada pela ferramenta informatizada, resultando em 60 (sessenta) decisões “indeterminadas” e 42 (quarenta e duas) decisões “favoráveis”. Não foram apontadas decisões “contrárias” pela ferramenta automatizada.
Em paralelo, a avaliação da mesma base de dados por humanos indicou que 13 (treze) das classificações “indeterminadas” na verdade eram decisões “favoráveis”, mas as decisões restantes, 47 (quarenta e sete) permaneceram como “indeterminadas” já que o texto divulgado na Revista da Propriedade Industrial não permitia concluir pela procedência ou improcedência da demanda.
3. Base de Dados do Tribunal Regional Federal da 2a Região.
A avaliação de ferramenta automatizada utilizou o “AI Studio”, fornecido pelo Google. Como base de referência, foram utilizados os resultados já coletados na pesquisa exploratória desenvolvida por LARA (2022), nas ementas dos TRFs entre 2016 e 2019 . E como base teste, foram coletados 320 acórdãos junto ao TRF da 2ª Região, que correspondiam aos mesmos critérios de busca da pesquisa exploratória de referência (LARA, 2022, p. 78-80).
A primeira utilização da ferramenta AI Studio se deu na criação de um modelo ajustado (Tuned Model), ou seja, um modelo onde é fornecida uma base de dados prévia, contendo entradas (inputs) e saídas (outputs), para que a própria ferramenta de IA seja treinada com base na entrada dada e na saída esperada.
A ferramenta Tuned Model contém como primeiro limitador o número de entradas e saídas para ajuste do modelo, pois permite a inserção de apenas uma coluna dedicada a entradas e uma coluna dedicada a saídas.
A base de treino (LARA, 2022) foi adaptada para a entrada contendo a Ementa das decisões judiciais, e a saída o tipo de decisão administrativa questionada em juízo.
A ferramenta, após o ajuste de modelo, apresentou resultado satisfatório quando solicitada a análise de apenas UMA ementa de cada vez.
Ao ser comparada com o modelo atual da AI Studio (Gemini 1.5 Pro 2), o resultado também é satisfatório, dado que o Modelo Ajustado (Tuned Model) fornece uma resposta de saída padronizada, enquanto o Modelo não Ajustado (Model Gemini 1.5 Pro 2) fornece uma resposta completa, com interpretação de todo o texto da ementa.
No entanto, a ferramenta AI Studio possui uma limitação relativa ao número de tokens que podem ser utilizados de cada vez, razão pela qual se mostrou inviável a avaliação do conjunto das 320 Ementas. Mesmo a redução de ementas não se mostrou viável, já que a ferramenta retorna “erro interno” quando solicitadas 10 (dez) ementas ao invés de uma.
Como alternativa, no próprio AI Studio, foi utilizado um tipo de requisição estruturada (structured prompt), que permite a inserção manual de exemplos de entrada e saída, possibilitando a criação de uma linha a seguir, contendo nova entrada, quando se solicita nova saída. Tal ferramenta não ajusta o modelo de linguagem, mas apenas estrutura a requisição para o modelo de linguagem já fornecido, esperando uma saída (output) semelhante às respostas já exemplificadas.
Nesta tentativa, novamente se fez uso da base de dados de LARA (2022), com as adaptações acima descritas. Quando inserida uma nova entrada, no entanto, a ferramenta não forneceu um resultado satisfatório (saída padronizada), mas sim uma explicação de todos os tipos de decisões administrativas questionadas. Além desta limitação, a ferramenta de requisição estruturada permite que seja inserido apenas um exemplo por vez, não sendo útil para requisições em lotes.
4. Considerações finais.
A utilização de ferramentas informatizadas de tratamento de texto, em especial as que possuem suporte em inteligência artificial, podem ser utilizadas como método auxiliar, para os operadores do Direito, de modo a avaliar um conjunto de decisões judiciais, buscando a uniformização de jurisprudência.
Contudo, existem desafios a serem superados. Um problema identificado neste estudo preliminar foi a falta de padronização na redação das publicações de decisão transitada em julgado pelo INPI. Não há um padrão, seja para formular algum tipo de ementa, ou ainda, para se identificar a decisão administrativa questionada, o tipo de fundamento legal. Muitas ocorrências se referem apenas à decisão em si, de procedência ou improcedência.
Pode-se sugerir uma padronização na redação de tais despachos, para permitir aos usuários a visualização do conjunto de dados e a realização de inferências. Curiosamente, não foram identificados, nem pela ferramenta informatizada, nem pela avaliação humana, despachos que contenham decisões “contrárias” ao interesse da parte Autora da ação judicial. A ausência de tais tipos de decisão poderá ser objeto de estudos futuros, ou mesmo de avaliação da qualidade da informação disponibilizada em RPI.
Outro problema identificado reside na própria plataforma de inteligência artificial do Google, a AI Studio. De um lado, o ajuste do modelo de linguagem (Tuned Model) limita o número de solicitações que podem ser feitas por vez, enquanto o método de requisição estruturada (structured prompt), além de não permitir consulta em lote, acaba fornecendo respostas demasiado longas e não necessariamente relacionadas com a solicitação efetuada.
De todo modo, os scripts utilizados na linguagem Python e na ferramenta AI Studio encontram-se em um repositório público, para avaliação e consultas por outras pessoas pesquisadoras.
Apesar das limitações encontradas, a utilização conjunta de ferramentas personalizadas, em linguagem de programação, como por exemplo Python, associada a uma ferramenta de IA com ajuste de modelo de linguagem (Tuned Model), poderá fornecer resultado satisfatório, sendo necessários mais estudos neste sentido para se padronizar uma metodologia de classificação das decisões, na matéria de Propriedade Industrial e Intelectual.
REFERÊNCIAS
BRASIL. Lei 9.279 de 14 de maio de 1996. Regula direitos e obrigações relativos à propriedade industrial. Disponível em: <http://www.planalto.gov.br/ccivil_03/leis/l9279.htm> Acesso em 31.out.2024.
______. Lei 13.105 de 16 de março de 2015. Código de Processo Civil. Disponível em: <http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2015/lei/l13105.htm> Acesso em: 31.out.2024.
CONSELHO NACIONAL DE JUSTIÇA. Diretrizes para a Elaboração de Ementas. Brasília, DF. 2021. Disponível em: < https://www.cnj.jus.br/wpcontent/ uploads/2021/09/diretrizes-elaboracao-ementas-uerj-reg-cnj-v15122021.pdf>. Acesso em 28.out.2024.
LARA, Wladmir Batista de. Panorama da análise judicial das decisões administrativas no registro de marcas: confirmação e anulação de decisões do Instituto Nacional da Propriedade Industrial. Academia da Propriedade Intelectual Inovação e Desenvolvimento, Divisão de Programas de Pós-Graduação e Pesquisa, Instituto Nacional da Propriedade Industrial – INPI, Rio de Janeiro, 2022.