From d6c195f817dba9ffa48b643442146068daa1bc05 Mon Sep 17 00:00:00 2001 From: Rodrigo Nogueira <121117945+rodrigo-f-nogueira@users.noreply.github.com> Date: Fri, 30 Aug 2024 05:55:13 -0600 Subject: [PATCH] Add rate limit description (#114) --- documentation/docs/pt/glossario.md | 35 +++++++++++++++++++++++++++++- 1 file changed, 34 insertions(+), 1 deletion(-) diff --git a/documentation/docs/pt/glossario.md b/documentation/docs/pt/glossario.md index 4c99171..52b29dc 100644 --- a/documentation/docs/pt/glossario.md +++ b/documentation/docs/pt/glossario.md @@ -68,4 +68,37 @@ O **Tempo para o Primeiro Token (TTFT)** mede a rapidez com que um modelo de lin - **Tamanho do modelo**: Modelos maiores podem ser mais lentos. - **Hardware**: Computadores mais potentes reduzem o TTFT. - **Condições de rede**: Internet lenta aumenta o TTFT. -- **Complexidade do prompt**: Pedidos mais complexos podem demorar mais. +- **Comprimento do prompt**: Prompts mais longos aumentam o TTFT. + + +## **Rate Limit** + +O **rate limit** é uma prática comum em serviços de API para evitar o uso excessivo e garantir a estabilidade e a distribuição equitativa dos recursos do servidor entre os usuários. Ele estabelece um limite para o número de solicitações que um usuário ou sistema pode fazer dentro de um determinado período de tempo. + +### Por que o rate limit é importante? + +- **Estabilidade do Serviço**: Previne contra sobrecargas que podem ser causadas por muitas solicitações simultâneas. +- **Justiça de Uso**: Assegura que todos os usuários tenham acesso justo ao serviço, evitando que um usuário monopolize os recursos. +- **Segurança**: Ajuda a identificar e mitigar possíveis ataques de negação de serviço (DoS). + + +### Como o rate limit afeta o uso da API? + +Uma vez atingido o limite de solicitações, as chamadas subsequentes podem ser rejeitadas ou resultar em mensagens de erro. Assim, os desenvolvedores precisam monitorar e gerenciar suas chamadas de API para evitar exceder o limite. + +Na API da Maritaca, existem três tipos de rate limit: +- Número máximo de tokens de entrada (prompt), enviados por minuto +- Número máximo de tokens de gerados por minuto +- Número máximo de requisições por minuto, independente do tamanho do prompt ou tokens gerados. + + +### Onde consulto os rate limits? + +Os rate limits de cada modelo estão disponíveis em https://plataforma.maritaca.ai/modelos + +### O que fazer se atingir o rate limit? + +- **Ajustar a Frequência de Solicitações**: Espaçar as chamadas de API para ficar dentro do limite permitido. +- **Aumentar o Limite**: Se precisa de rate limits maiores, por favor, nos envie uma mensagem para suporte@maritaca.ai + +