Skip to content

linkxzhou/mylib

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

54 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

mylib — 个人常用开发公共库

一个跨语言(C++ / Go / Rust / Python)的个人学习与工程实践仓库,覆盖系统编程、高性能服务器、大模型应用、工具库与产品原型等方向。

📁 目录总览

目录 内容 主要语言
c++/ 日志、并发服务器、JS 解析、HTTP 服务器、SIMD/PGO、协程线程库等 C / C++
go/ 表达式引擎、JS 解析库 Go
rust/ 最小化 OS / KV / DB 实验 Rust
python/ 多媒体格式转换、算法学习 Python
llm/ LLM 统一 API、Agent、RAG、从零训练 LLM/VLM Python
homepage/ 个人主页与 microGPT 交互演示 HTML / JS
idea/ 新想法、原型(像素红警、FMV 游戏等) Markdown / TS
test/ 临时测试代码 C++ / TS

🧩 C++

位于 c++/,偏系统编程、网络与性能优化。

子项目 说明 文档
glog Google glog 日志库精简移植与学习 readme
tinyhttpd C 语言实现的极简 HTTP 服务器(支持 CGI) readme
tinylib 轻量 C++ 工具库(C++11,零外部依赖):线程/同步、网络、容器、日志、配置解析等 30+ 模块;309 tests / 679 assertions;含 12 个应用场景示例 README
sthread 基于协程的轻量级高性能网络库(epoll/kqueue、ucontext 多架构、Hook 系统调用、TCP/UDP 客户端与服务端) readme
pgo 使用 PGO(Profile-Guided Optimization)的性能优化样例 readme
simd SIMD 指令集优化样例(以 strlen 为例) readme
concurrency_server 23 种并发服务器模型(reactor / proactor / actor / coroutine / pipeline / work-stealing / half-sync-async / leader-follower / 多进/线程池等) readme
high_performance_server 10 个开源高性能网络库的 echo server demo:libevent / libev / libuv / Boost.Asio / ACE / Seastar / Wangle / Proxygen / Mongoose / libco readme

🐹 Golang

位于 go/,参见 环境提示

子项目 说明 文档
expr Go 的表达式解析与求值库(含 benchmark / pprof) readme
simplejs Go 调用 C++ 的简易 JS 解析库(基于 cgo) readme
sjson(外链) Go 实现的高性能 JSON 解析库 https://github.com/linkxzhou/sjson

🦀 Rust

位于 rust/,参见 说明

  • os/ — Rust 最小化 OS / KV 存储 / DB 相关实验(见 docs/rust_bin.md

🐍 Python

位于 python/

子项目 说明 文档
AnythingConvert 多媒体文件统一转换工具(图片 / 视频 / 音频 / 文档 / 文本),支持 CLI + Python API + Gradio Web UI readme
Bayes 朴素贝叶斯学习样例与数据集

🤖 LLM

位于 llm/,聚焦大模型应用开发、训练与 Agent 实践。

核心框架

模块 说明 文档
llmapi 统一的多 LLM 提供商接口:OpenAI / 千帆 / 通义千问 / 智谱 / Ollama / SiliconFlow / HuggingFace。包含 embedding、rerank、插件系统及跨提供商模型发现;内置 OpenAI 兼容的 FastAPI 代理服务 plan
llmapi/miniagent 从 bash → basic → todo → subagent → skills 的渐进式 Mini Agent 实现系列(v0~v4)
llm_svrapi.py / llm_ui.py LLM 后端 API 与 UI 入口
rag 基于 LanceDB 的朴素 RAG 实现
refactor 代码重构参考实践 readme
scf_bootstrap 腾讯云 SCF 部署入口脚本

Agent

模块 说明 文档
agent/translation 翻译 Agent:翻译 → 反思 → 改进三步迭代,支持多语言及地区语言风格适配,含 Gradio Web UI readme
agent/code2video Code → Video 生成 Agent(参考 Code2Video readme
agent/veri_react_agent.py 带校验(verification)的 ReAct Agent 实现

从零训练 LLM / VLM

llm/from0-buildllm/29 个编号脚本,覆盖 Tokenizer 训练、预训练、SFT、DPO、LoRA 到多模态 VLM 的完整流水线(目标:100M 参数中文小型 LLM/VLM,Apple MPS / 单张 GPU 可跑):

LLM 阶段(1–18):
1-config → 2-utils → 3-tokenizer → 4-model-config → 5-position-encoding
6-attention → 7-moe → 8-transformer → 9-pretrain-data → 10-pretrain
11-sft-data → 12-full-sft → 13-lora-sft → 14-dpo → 15-eval
16-infer → 17-chat-ui → 18-export-llm

VLM 阶段(19–29):
19-vision-encoder → 20-image-processor → 21-vlm-config → 22-vision-projector
23-vlm-model → 24-vlm-data → 25-vlm-pretrain → 26-vlm-sft
27-vlm-eval-infer → 28-api-server → 29-export-vlm

公共包 llm_from0/ 包含全部核心实现(attention / transformer / lora / dpo / vlm_model 等)。

环境变量(LLM API)

export PYTHONPATH=`pwd`:$PYTHONPATH
export OPENAI_API_KEY= ; export OPENAI_API_BASE=
export QIANFAN_API_KEY=
export ZHIPU_API_KEY=
export DASHSCOPE_API_KEY= ; export DASHSCOPE_API_BASE=
export SILICONFLOW_API_KEY=
export OLLAMA_API_BASE=
export HUGGINGFACE_CACHE_DIR= ; export HUGGINGFACE_MODEL_PATH=

🌐 Homepage

homepage/ — 个人主页静态站点 + microgpt.html/microgpt.py 浏览器侧 GPT 小玩具(含故事素材)。


💡 想法与原型 (idea)

位于 idea/,孵化中的实验性项目:

  • pixel_red_alert/ — 浏览器端「像素红警」原型(Vite + TS,参考 command-and-conquer
  • vs_fmv_games/ — 「中国神话英雄 vs 漫威英雄」FMV(全动态影像)游戏策划与数据
  • idea1.md — 其他新想法草稿(DB 管理器、AI 脑图、AI 日历打卡 …)

📦 其他

  • test/ — 零散的 C++ 测试与工具代码(service_util.cpp / updater.cpp)及 openclaw101/(OpenClaw AI 助理资源聚合站,Next.js + TypeScript)
  • skills/ — AI Skills 相关资源

🛠️ 本地约定

  • C++ 子项目普遍使用 Makefile / Bazel (MODULE.bazel) 构建,部分提供 Dockerfile / docker-compose.yml
  • Go 子项目在 macOS 上若遇编译警告报错,可:
    export CGO_CPPFLAGS="-Wno-error -Wno-nullability-completeness -Wno-expansion-to-defined"
  • LLM 训练相关数据集位于 llm/from0-buildllm/datasets/(体积较大,未纳入版本管理)

📜 License

本仓库为个人学习与实践仓库,各子项目如另有说明以子目录 License 为准,否则默认 MIT。

About

public lib with golang, c++, python llm

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors