little-coder

【工具简介】 little-coder是一款专为小型本地模型优化的离线编程代理工具，能在8GB显存的笔记本上断网运行，性能超越部分云端大模型编程助手。 【快速开始】 1. 安装前置工具：先安装Ollama（推荐）或llama.cpp，用于加载本地模型。以Ollama为例，访问ollama.com下载对应系统的安装包并完成安装。 2. 下载模型：打开终端执行ollama pull qwen3:35b-a3b，下载适合little-coder的轻量级MoE模型。如果显存不足8GB，可选择更小的模型如qwen3:8b。 3. 安装little-coder：访问项目主页itayinbarr.github.io/little-coder/，按照README说明克隆仓库并安装依赖。通常只需git clone项目后执行pip install或对应的包管理命令。 4. 启动使用：在你的项目目录下运行little-coder命令，它会自动连接本地模型并进入REPL交互环境，输入自然语言描述即可开始编程。 【核心功能演示】 功能一：自然语言编程 在项目目录中启动little-coder后，直接用中文或英文描述你的需求，比如帮我写一个Python脚本读取CSV文件并统计每列的平均值。代理会自动创建文件、编写代码并执行，整个过程完全离线完成。 功能二：多模型后端切换 little-coder支持llama.cpp、Ollama、LM Studio等多种后端。如果想切换到LM Studio，只需在配置中修改后端地址为localhost:1234即可。不同后端适合不同硬件环境，你可以根据自己的电脑配置灵活选择。 功能三：代码编辑与调试 当代码运行出错时，把错误信息粘贴给little-coder，它会自动分析错误原因并修改代码。支持对现有文件的读取、编辑和重写，就像一个本地的AI编程搭档。 【实际使用案例】 场景一：户外或无网络环境开发 出差途中在飞机或高铁上需要修改代码，打开笔记本启动little-coder，用自然语言描述要修改的功能，代理直接在本地完成代码编写和测试，完全不需要网络连接。 场景二：处理敏感数据的项目 公司内部有数据安全要求，代码和数据不能上传到云端。使用little-coder搭配本地模型，所有代码生成和处理都在本机完成，满足合规要求的同时享受AI编程的效率提升。 【常见问题FAQ】 Q1：我的笔记本只有集成显卡，能用吗？ A1：可以。little-coder支持纯CPU运行模式，虽然速度会慢一些，但依然可以正常使用。建议选择较小的模型（如7B-8B参数）以获得更好的体验。 Q2：离线状态下模型回答质量会不会很差？ A2：little-coder针对小型模型做了专门优化，在Terminal-Bench 2.0测试中使用Qwen3.6-35B-A3B模型取得了24.6%的得分，超过了Gemini CLI搭配Gemini 2.5 Pro的表现。对于常见的编程任务，质量完全够用。 Q3：支持哪些编程语言？ A3：支持所有主流编程语言，包括Python、JavaScript、Java、Go、Rust等。模型本身的编程能力覆盖了大部分常见语言和框架。 【小贴士】 1. 使用--n-cpu-moe参数可以在8GB显存上运行35B参数的MoE模型，这是little-coder的独家优化技术，充分利用CPU和GPU的协同计算能力。 2. 在REPL环境中输入clear可以清空上下文重新开始，避免长对话导致的上下文混乱。 3. 建议将项目目录结构保持清晰，这样代理能更准确地理解代码结构并生成符合项目风格的代码。