집합된 무료 AI 모델과 로컬 API 제공을 위한 모바일 게이트웨이
FreeLLMAPI: 모든 AI 모델은 Tash A에 의해 개발되어 여러 AI 제공업체의 무료 계층 액세스를 단일 Android 앱으로 통합하여 테스트, 채팅 및 경량 개발을 위해 설계되었습니다. 채팅 인터페이스와 여러 공급업체 계정을 관리할 필요가 없는 모바일 API 게이트웨이를 제공합니다. 주요 편의 기능으로는 즉각적인 채팅을 위한 키 없는 액세스와 개인 장치에서의 비공식 운영이 포함됩니다. 이 도구는 개인 Android 장치에서 폭넓은 모델 액세스가 필요한 개발자, 학생 및 연구자를 대상으로 합니다.
비정상적으로 큰 월별 토큰 용량을 집계하고 부하 하에서도 연속성을 유지합니다
개발자에 따르면 이 앱은 29개 이상의 제공업체에서 매달 약 40억 개의 무료 토큰을 집계하고 실시간 성능 메트릭을 라우팅 결정에 적용합니다. 집계된 용량은 개발자와 연구자에게 단일 공급업체에 의존하지 않고도 사용 가능한 추론 예산을 제공합니다. 자동 장애 조치 시스템은 모델이 속도 제한을 받거나 바쁠 때 공급업체를 전환하며, 라우터는 공급업체 간의 사용량을 균형 있게 조정하여 높은 수요 동안 접근을 연장합니다.
빠른 프로토타입 작성을 위한 로컬 개발 엔드포인트로 작동할 수 있습니다
프리미엄 LAN API 서버 모드에서 이 앱은 Android 장치를 노트북 및 IDE와 호환되는 OpenAI 엔드포인트로 변환하여 로컬 테스트 및 빠른 프로토타입 작성을 가능하게 합니다. 이 프로젝트는 또한 macOS, Windows 및 Linux용 Docker 이미지를 포함한 오픈 소스 리포지토리를 통해 데스크탑 지원 및 자체 호스팅을 제공하여 팀이 표준 개발 기계에서 모바일 엔드포인트를 재현하고 로컬 워크플로에 통합할 수 있도록 합니다.
장치 내 개인 정보 보호와 민감한 워크플로를 위한 암호화된 키 저장소를 강조합니다
개인 제공업체 키는 AES-256-GCM 암호화로 장치 키체인에 저장되며, 앱은 선택된 제공업체에만 키를 전송하여 설계상 개인 정보를 반영합니다. 채팅은 전화기에 남아 있으며 개발자는 분석이나 추적을 보고하지 않습니다. 이러한 접근 방식은 데이터 거주지와 재현성이 중요한 테스트를 지원하며, 여러 모델 제공업체와 실험하는 동안 외부 원격 측정을 피해야 하는 워크플로에 적합합니다.
실습 개발자에게 최적; 단일 공급업체 관리 워크플로우에는 이상적이지 않음
이 앱은 개인적인 장치에서 테스트와 비교 결과가 필요한 개발자와 연구자에게 유리하며, 상당한 무료 토큰 접근을 집계하고 모바일 API 엔드포인트를 제공합니다. 단일 관리 공급업체를 기대하는 팀은 다중 공급자 설정과 프리미엄 게이팅이 추가 구성을 요구할 수 있습니다. CI 및 재현 가능한 테스트를 위해서는 오픈 소스 Docker 경로와 로컬 엔드포인트 통합을 사용하여 팀 워크플로우에 맞추세요.
