一个跨语言(C++ / Go / Rust / Python)的个人学习与工程实践仓库,覆盖系统编程、高性能服务器、大模型应用、工具库与产品原型等方向。
| 目录 | 内容 | 主要语言 |
|---|---|---|
c++/ |
日志、并发服务器、JS 解析、HTTP 服务器、SIMD/PGO、协程线程库等 | C / C++ |
go/ |
表达式引擎、JS 解析库 | Go |
rust/ |
最小化 OS / KV / DB 实验 | Rust |
python/ |
多媒体格式转换、算法学习 | Python |
llm/ |
LLM 统一 API、Agent、RAG、从零训练 LLM/VLM | Python |
homepage/ |
个人主页与 microGPT 交互演示 | HTML / JS |
idea/ |
新想法、原型(像素红警、FMV 游戏等) | Markdown / TS |
test/ |
临时测试代码 | C++ / TS |
位于 c++/,偏系统编程、网络与性能优化。
| 子项目 | 说明 | 文档 |
|---|---|---|
glog |
Google glog 日志库精简移植与学习 | readme |
tinyhttpd |
C 语言实现的极简 HTTP 服务器(支持 CGI) | readme |
tinylib |
轻量 C++ 工具库(C++11,零外部依赖):线程/同步、网络、容器、日志、配置解析等 30+ 模块;309 tests / 679 assertions;含 12 个应用场景示例 | README |
sthread |
基于协程的轻量级高性能网络库(epoll/kqueue、ucontext 多架构、Hook 系统调用、TCP/UDP 客户端与服务端) | readme |
pgo |
使用 PGO(Profile-Guided Optimization)的性能优化样例 | readme |
simd |
SIMD 指令集优化样例(以 strlen 为例) |
readme |
concurrency_server |
23 种并发服务器模型(reactor / proactor / actor / coroutine / pipeline / work-stealing / half-sync-async / leader-follower / 多进/线程池等) | readme |
high_performance_server |
10 个开源高性能网络库的 echo server demo:libevent / libev / libuv / Boost.Asio / ACE / Seastar / Wangle / Proxygen / Mongoose / libco | readme |
| 子项目 | 说明 | 文档 |
|---|---|---|
expr |
Go 的表达式解析与求值库(含 benchmark / pprof) | readme |
simplejs |
Go 调用 C++ 的简易 JS 解析库(基于 cgo) | readme |
sjson(外链) |
Go 实现的高性能 JSON 解析库 | https://github.com/linkxzhou/sjson |
os/— Rust 最小化 OS / KV 存储 / DB 相关实验(见docs/rust_bin.md)
位于 python/。
| 子项目 | 说明 | 文档 |
|---|---|---|
AnythingConvert |
多媒体文件统一转换工具(图片 / 视频 / 音频 / 文档 / 文本),支持 CLI + Python API + Gradio Web UI | readme |
Bayes |
朴素贝叶斯学习样例与数据集 | — |
位于 llm/,聚焦大模型应用开发、训练与 Agent 实践。
| 模块 | 说明 | 文档 |
|---|---|---|
llmapi |
统一的多 LLM 提供商接口:OpenAI / 千帆 / 通义千问 / 智谱 / Ollama / SiliconFlow / HuggingFace。包含 embedding、rerank、插件系统及跨提供商模型发现;内置 OpenAI 兼容的 FastAPI 代理服务 | plan |
llmapi/miniagent |
从 bash → basic → todo → subagent → skills 的渐进式 Mini Agent 实现系列(v0~v4) | — |
llm_svrapi.py / llm_ui.py |
LLM 后端 API 与 UI 入口 | — |
rag |
基于 LanceDB 的朴素 RAG 实现 | — |
refactor |
代码重构参考实践 | readme |
scf_bootstrap |
腾讯云 SCF 部署入口脚本 | — |
| 模块 | 说明 | 文档 |
|---|---|---|
agent/translation |
翻译 Agent:翻译 → 反思 → 改进三步迭代,支持多语言及地区语言风格适配,含 Gradio Web UI | readme |
agent/code2video |
Code → Video 生成 Agent(参考 Code2Video) | readme |
agent/veri_react_agent.py |
带校验(verification)的 ReAct Agent 实现 | — |
llm/from0-buildllm/ — 29 个编号脚本,覆盖 Tokenizer 训练、预训练、SFT、DPO、LoRA 到多模态 VLM 的完整流水线(目标:100M 参数中文小型 LLM/VLM,Apple MPS / 单张 GPU 可跑):
LLM 阶段(1–18):
1-config → 2-utils → 3-tokenizer → 4-model-config → 5-position-encoding
6-attention → 7-moe → 8-transformer → 9-pretrain-data → 10-pretrain
11-sft-data → 12-full-sft → 13-lora-sft → 14-dpo → 15-eval
16-infer → 17-chat-ui → 18-export-llm
VLM 阶段(19–29):
19-vision-encoder → 20-image-processor → 21-vlm-config → 22-vision-projector
23-vlm-model → 24-vlm-data → 25-vlm-pretrain → 26-vlm-sft
27-vlm-eval-infer → 28-api-server → 29-export-vlm
公共包 llm_from0/ 包含全部核心实现(attention / transformer / lora / dpo / vlm_model 等)。
export PYTHONPATH=`pwd`:$PYTHONPATH
export OPENAI_API_KEY= ; export OPENAI_API_BASE=
export QIANFAN_API_KEY=
export ZHIPU_API_KEY=
export DASHSCOPE_API_KEY= ; export DASHSCOPE_API_BASE=
export SILICONFLOW_API_KEY=
export OLLAMA_API_BASE=
export HUGGINGFACE_CACHE_DIR= ; export HUGGINGFACE_MODEL_PATH=homepage/ — 个人主页静态站点 + microgpt.html/microgpt.py 浏览器侧 GPT 小玩具(含故事素材)。
位于 idea/,孵化中的实验性项目:
pixel_red_alert/— 浏览器端「像素红警」原型(Vite + TS,参考 command-and-conquer)vs_fmv_games/— 「中国神话英雄 vs 漫威英雄」FMV(全动态影像)游戏策划与数据idea1.md— 其他新想法草稿(DB 管理器、AI 脑图、AI 日历打卡 …)
test/— 零散的 C++ 测试与工具代码(service_util.cpp/updater.cpp)及openclaw101/(OpenClaw AI 助理资源聚合站,Next.js + TypeScript)skills/— AI Skills 相关资源
- C++ 子项目普遍使用
Makefile/Bazel (MODULE.bazel)构建,部分提供Dockerfile/docker-compose.yml - Go 子项目在 macOS 上若遇编译警告报错,可:
export CGO_CPPFLAGS="-Wno-error -Wno-nullability-completeness -Wno-expansion-to-defined"
- LLM 训练相关数据集位于
llm/from0-buildllm/datasets/(体积较大,未纳入版本管理)
本仓库为个人学习与实践仓库,各子项目如另有说明以子目录 License 为准,否则默认 MIT。