Xinference
Xinference 是一个功能强大且功能全面的分布式推理框架,旨在简化大语言模型(LLM)、语音识别、多模态模型等多种AI模型的推理任务。
开源AI搜索引擎项目,主要功能包括支持本地和云端模型运行,可选择使用本地大型语言模型(如Llama3,Mistral,Gemma和Phi3)或云端模型(如OpenAI的GPT-4和Groq的Llama3)进行搜索和回答问题
Farfalle 是一个开源的 AI 驱动搜索引擎项目,允许用户通过本地或云端的大语言模型(LLM)执行搜索与问答任务。该项目在 Perplexity 的理念基础上构建,支持灵活部署方式,既可自托管运行,也可接入主流云服务提供商的模型接口。
Farfalle官网入口网址:https://github.com/rashadphz/farfalle
该平台整合了多种前沿技术组件,前端采用 Next.js 构建,后端基于 FastAPI 开发,并集成了 SearXNG、Tavily、Serper 和 Bing 等多个搜索 API,以增强信息检索能力。系统还引入 Logfire 用于日志追踪,Redis 实现请求限流,确保服务稳定性与可观测性。
Farfalle 适用于开发者、研究团队及教育机构,为需要隐私保护、定制化搜索体验或离线 AI 能力的用户提供了一个可扩展、透明且可控的解决方案。千流导航 收录此项目,便于技术用户发现并评估其在实际场景中的应用潜力。