Nicksxs's Blog

体验下微软开源的Markdown转换工具Markitdown

发表于 2026-04-05 分类于 markdown 阅读次数： Disqus：

这个工具的来源是看到了大神的个人知识库的文章，比之以前可能都是以rag的形式，现在是通过直接让大模型学习提取原始知识文档，来给自己做个人知识库的索引和整理，那么有一个前提是大模型更擅长的文档格式是纯文本的，或者说就是以Markdown的形式，因为既有段落格式，又是相对纯文本的，便于输入大模型.
那很多情况我们就需要把我们现有的文档转换成Markdown形式，便于大模型去分析理解
刚好想起来前阵子微软开源了这么个工具，
仓库在这里
我们就来简单的使用体验下

1
2
3

git clone git@github.com:microsoft/markitdown.git
cd markitdown
pip3 install -e 'packages/markitdown[all]'

我们不去具体阅读代码，就是来使用体验下
可以直接把仓库Clone下来，然后安装就可以了
简单的使用说明是

usage: SYNTAX:

    markitdown <OPTIONAL: FILENAME>
    If FILENAME is empty, markitdown reads from stdin.

EXAMPLE:

    markitdown example.pdf

    OR

    cat example.pdf | markitdown

    OR

    markitdown < example.pdf

    OR to save to a file use

    markitdown example.pdf -o example.md

    OR

    markitdown example.pdf > example.md

Convert various file formats to markdown.

我们可以用最贱的方式

1	markitdown path-to-file.pdf > document.md

我在网上找了个transformer的论文中文版pdf
来转换成markdown试一下
发现其实这个转换还是限制挺大的，并没有非常全能
比如pdf中是文本的表格
也会错乱的比较多

模型	BLEU	训练成本（FLOPs）
cmidrule
	EN-DE EN-FR	EN-DE	EN-FR
————	———–	—–	—–
ByteNet [18]	23.75
1.0 ⋅ 1020
Deep-Att + PosUnk [39]	39.2
——————————-	———–	———-	———-
GNMT + RL [38]	24.6 39.92	2.3 ⋅ 1019	1.4 ⋅ 1020
		9.6 ⋅ 1018	1.5 ⋅ 1020
ConvS2S [9]	25.16 40.46
MoE [32]	26.03 40.56	2.0 ⋅ 1019	1.2 ⋅ 1020
Deep-Att + PosUnk Ensemble [39]	40.4		8.0 ⋅ 1020
		1.8 ⋅ 1020	1.1 ⋅ 1021
GNMT + RL Ensemble [38]	26.30 41.16
ConvS2S Ensemble [9]	26.36 41.29	7.7 ⋅ 1019	1.2 ⋅ 1021
第6张的表就变成了这样子，可能还是主体的文本稍微好一点
但是论文相对来说结构也不是那么已读也是个原因
另外如果是非文本型的可能还是需要结合外部的ocr和大模型来辅助提取内容
可以用markitdown的插件系统
markitdown-ocr Plugin
The markitdown-ocr plugin adds OCR support to PDF, DOCX, PPTX, and XLSX converters, extracting text from embedded images using LLM Vision — the same llm_client / llm_model pattern that MarkItDown already uses for image descriptions. No new ML libraries or binary dependencies required.

1 2	pip install markitdown-ocr pip install openai # or any OpenAI-compatible client

然后通过代码设置

from markitdown import MarkItDown
from openai import OpenAI

md = MarkItDown(
    enable_plugins=True,
    llm_client=OpenAI(),
    llm_model="gpt-4o",
)
result = md.convert("document_with_images.pdf")
print(result.text_content)

这样就能把包含图片的信息也进行转换，迫于没有外国信用卡，我就没法演示了

学习下git的worktree

发表于 2026-03-29 分类于 git ，技巧阅读次数： Disqus：

我们在开发中还是有挺多时候会需要经常切换分支，比如在项目A的过程中突然要修个bug，或者想去看看另一个分支的代码逻辑是怎么样的等等
如果频繁的切换分支，那要不就是经常git stash，有时候甚至会忘了已经开发了的代码，要不就是写到一半提交
最近发现了worktree这个功能，
比如我有一个仓库叫repo0,有两个分支main和feat1,
我可能需要在feat1上开发，但是偶尔又要回main上看看代码逻辑等
我就可以使用worktree,
比如我就是创建一个feat1的worktree

1	git worktree add ../feat1 feat1

就会在repo0的同级目录创建一个feat1
这样就会变成两个目录对应的不同分支，但优点是啥呢，因为这是git天然支持的，不是我们直接clone了两份，会有两个.git目录，这样就省掉了很大的版本管理空间
另外我们仓库路径下就是个主的worktree
这样呢其实还有一个现在比较时兴的好处，就是如果有多个agent，就可以开多个worktree，一个开发新代码，一个写单测，一个review代码，加快流水线并行化速度
对应的常用参数可以看一下help

usage: git worktree add [-f] [--detach] [--checkout] [--lock [--reason <string>]]
                        [-b <new-branch>] <path> [<commit-ish>]
   or: git worktree list [-v | --porcelain [-z]]
   or: git worktree lock [--reason <string>] <worktree>
   or: git worktree move <worktree> <new-path>
   or: git worktree prune [-n] [-v] [--expire <expire>]
   or: git worktree remove [-f] <worktree>
   or: git worktree repair [<path>...]
   or: git worktree unlock <worktree>

第一个就是add，像我刚才就是指定了worktree的路径和对应的分支，如果直接是路径就会找这个路径名对应的分支，如果不存在跟路径同名的分支，就是新建分支
而如果后面是分支名，就会切到这个分支，它还可以是tag，commit-id；
还有比如我只是想做一些实验性的改动
可以用

add命令

1	git worktree add -d <path>

它不会新建分支，创建一个不与任何分支关联的 throwaway worktree(一次性工作树)。

list命令

1	git worktree list

另外像git worktree list就是查看当前仓库有哪些worktree

lock命令

1	git worktree lock

lock是说我的worktree可能会被移动，防止文件被破坏，我需要进行锁定

move命令

1	git worktree move <worktree> <new-path>

move就是把worktree移动到一个新的路径

remove命令

1	git worktree remove

remove就是删除worktree，
但有个前提是不能删除还有代码没提交，有未提交的变更这种

prune命令

1	git worktree prune

这个其实更偏向于git来清理所管理的worktree，比如worktree的目录直接被删掉不用了

repair命令

1	git worktree repair

修复命令是指比如我们的主worktree被移动了，
那需要修复其他的worktree的引用关系
就可以用这个命令

unlock命令

1	git worktree unlock

这个跟刚才的lock就是互为反操作
如果对一个仓库有这种多分支并行操作，
用worktree还是挺好用的
之前还不知道，最近是跟着最新这波龙虾热才知道
想要搞个数字团队
分工各司其职
正好可以用到这个功能

一些架构师知识点的记录

发表于 2026-03-22 分类于系统架构师阅读次数： Disqus：

SDN 软件定义网络

SDN（Software Defined Networking，软件定义网络）是一种将网络控制平面与数据转发平面分离，并通过可编程接口实现网络控制的架构。SDN的基本架构通常包含以下几个关键层：

应用层（Application Layer）：这是最上层，包括各种网络应用程序和服务，它们可以通过SDN控制器提供的API来定制网络行为，比如流量路由、访问控制策略等。
控制层（Control Layer）：这一层的核心是SDN控制器，它集中管理网络视图、计算数据包转发路径，并下发相应的转发规则到数据平面设备。控制器是网络智能和策略决策的中心。
转发层（Data Plane or Forwarding Layer）：数据平面由网络交换机和其他数据转发设备组成，它们根据从控制层接收的指令转发数据包，而不再需要了解完整的网络拓扑或做出复杂的路由决策。

企业数字化转型

企业数字化转型分为5个发展阶段：初始级发展阶段、单元级发展阶段、流程级发展阶段、网络级发展阶段和生态级发展阶段。

初始级发展阶段：处于该发展阶段的组织，在单一职能范围内初步开展了信息（数字）技术应用，但尚未有效发挥信息（数字）技术对主营业务的支持作用。
单元级发展阶段：处于该阶段的组织，在主要或若干主营业务单一职能范围内开展了（新一代）信息技术应用，提升相关单项业务的运行规范性和效率。
流程级发展阶段：处于该阶段的组织，在业务线范围内，通过流程级数字化和传感网级网络化，以流程为驱动，实现主营业务关键业务流程及关键业务与设备设施、软硬件、行为活动等要素间的集成优化。
网络级发展阶段：处于该阶段的组织，在全组织（企业）范围内，通过组织（企业）级数字化和产业互联网级网络化，推动组织（企业）内全要素、全过程互联互通和动态优化，实现以数据为驱动的业务模式创新。
生态级发展阶段：处于该阶段的组织，在生态组织范围内，通过生态级数字化和泛在物联网级网络化，推动与生态合作伙伴间资源、业务、能力等要素的开放共享和协同合作，共同培育智能驱动型的数字新业务。

需求管理

需求工程的活动主要被划分为以下几个阶段。
(1)需求获取:通过与用户的交流，对现有系统的观察及对任务进行分析，从而开发、捕获和修订用户的需求。
(2)需求分析:为系统建立一个概念模型，作为对需求的抽象描述，并尽可能多的捕获现实世界的语义。
(3)形成需求规格(或称之为需求文档化):按照相关标准，生成需求模型的文档描述，用户原始需求书作为用户和开发者之间的一个协约，往往被作为合同的附件;软件需求描述规约作为后续软件系统开发的指南。
(4)需求确认与验证:以需求规格说明为输入，通过用户确认、复审会议、符号执行、模拟仿真或快速原型等途径与方法，确认和验证需求规格的完整性、正确性、一致性、可测试性和可行性，包含有效性检查、一致性检查、可行性检查和确认可验证性。
(5)需求管理:包括需求文档的追踪管理、变更控制、版本控制等管理性活动。
软件需求开发的最终文档经过评审批准后，则定义了开发工作的需求基线 (Baseline)。这个基线在客户和开发者之间构筑了计划产品功能需求和非功能需求的一个约定 (Agreement)。需求约定是需求开发和需求管理之间的桥梁。
在教材的图中有这么四块，变更控制，版本控制，需求跟踪，需求状态跟踪

需求跟踪

需求跟踪包括编制每个需求同系统元素之间的联系文档，这些元素包括其他需求、体系结构、其他设计部件、源代码模块、测试、帮助文件和文档等，是要在整个项目的工件之间形成水平可追踪性。跟踪能力信息使变更影响分析十分便利，有利于确认和评估实现某个建议的需求变更所必须的工作

软件生命周期

按照传统的软件生命周期方法学，可以把软件生命周期划分为软件定义、软件开发、软件运行与维护3个阶段。

RUP

1.RUP的生命周期
RUP软件开发生命周期是一个二维的软件开发模型， R U P 中有9个核心工作流，这9个核心工作流如下。

业务建模 (Business Modeling): 理解待开发系统所在的机构及其商业运作，确保所有参与人员对待开发系统所在的机构有共同的认识，评估待开发系统对所在机构的影响。
需求 (Requirements): 定义系统功能及用户界面，使客户知道系统的功能，使开发人员理解系统的需求，为项目预算及计划提供基础。
分析与设计 (Analysis & Dcsign): 把需求分析的结果转化为分析与设计模型。
实现 (Implementation): 把设计模型转换为实现结果，对开发的代码做单元测试，将
不同实现人员开发的模块集成为可执行系统。
测试 (Test): 检查各子系统之间的交互、集成，验证所有需求是否均被正确实现，对
发现的软件质量上的缺陷进行归档，对软件质量提出改进建议。
部署 (Deployment): 打包、分发、安装软件，升级旧系统;培训用户及销售人员，并
提供技术支持。
配置与变更管理 (Configuration & Change Management): 跟踪并维护系统开发过程中
产生的所有制品的完整性和一致性。
项目管理 (Project Management): 为软件开发项目提供计划、人员分配、执行、监控
等方面的指导，为风险管理提供框架。
环境 (Environment): 为软件开发机构提供软件开发环境，即提供过程管理和工具的
支持。

结构化设计

盒图、HIPO图、程序流程图均属于结构化设计工具（教材没找到原文）

面向对象设计

顺序图属于面向对象分析与设计工具

UML 2.0

UML 2.0提供了13种图，分别是类图、对象图、用例图、序列图、通信图、状态图、活动
图、构件图、部署图、组合结构图、包图、交互概览图和计时图。序列图、通信图、交互概览图和计时图均被称为交互图。

PAD图

P A D 图是一种改进的图形描述方式，可以用来取代程序流程图，相比程序流程图更直观，结构更清晰。最大的优点是能够反映和描述自顶向下的历史和过程。 PAD提供了5种基本控制结构的图示，并允许递归使用。 P A D 的特点如下:

使用PAD符号设计出的程序代码是结构化程序代码;
P A D所描绘的程序结构十分清晰;
用PAD图表现程序的逻辑易读、易懂和易记;
容易将PAD图转换成高级语言源程序自动完成;
既可以表示逻辑，也可用来描绘数据结构;
支持自顶向下方法的使用。

构件

构件又称为组件，是一个自包容、可复用的程序集。构件是一个程序集，或者说是一组程序的集合。这个集合可能会以各种方式体现出来，如源程序或二进制的代码。这个集合整体向外提供统一的访问接口，构件外部只能通过接口来访问构件，而不能直接操作构件的内部。构件的两个最重要的特性是自包容与可重用。

网络安全威胁

一般认为，目前网络存在的威胁主要表现在以下5个方面。
(1)非授权访问。没有预先经过同意就使用网络或计算机资源被看作非授权访问，如有意避开系统访问控制机制，对网络设备及资源进行非正常使用或擅自扩大权限，越权访问信息。它主要有以下几种形式:假冒、身份攻击、非法用户进入网络系统进行违法操作、合法用户以未授权方式进行操作等。
(2)信息泄露或丢失。信息泄露或丢失指敏感数据在有意或无意中被泄露出去或丢失，它通常包括信息在传输中丢失或泄露、信息在存储介质中丢失或泄露以及通过建立隐蔽隧道等方式窃取敏感信息等。如黑客利用电磁泄露或搭线窃听等方式可截获机密信息，或通过对信息流向、流量、通信频度和长度等参数的分析，推测出有用信息，如用户口令、账号等重要信息。
(3)破坏数据完整性。以非法手段窃得对数据的使用权，删除、修改、插入或重发某些重要信息，以取得有益于攻击者的响应;恶意添加，修改数据，以干扰用户的正常使用。
(4)拒绝服务攻击。它不断对网络服务系统进行干扰，改变其正常的作业流程，执行无关程序使系统响应减慢甚至瘫痪，影响正常用户的使用，甚至使合法用户被排斥而不能进入计算机网络系统或不能得到相应的服务。
(5)利用网络传播病毒。通过网络传播计算机病毒的破坏性大大高于单机系统，而且用户很难防范。

UML 5种视图
对于同一个系统，不同人员所关心的内容并不一样。因此一个系统应从不同的角度进行描
述，从一个角度观察到的系统称为一个视图 (View), 每个视图表示系统的一个特殊的方面。按照图本身具有的特点，可以把图形划分为5类视图，分别是用例视图、逻辑视图、进程视图、实现视图和部署视图，其中的用例视图居于中心地位。

(1)用例视图:描述系统的功能需求，方便找出用例和执行者;它展示了一个外部用户能
够观察到的系统功能模型，主要包括用例图。对此关心的开发团队成员主要包括客户、分析者、设计者、开发者和测试者。
(2)逻辑视图:描述如何实现系统内部的功能;系统的静态结构和因发送消息而出现的动态协作关系。逻辑视图包含类图和对象图、状态图、顺序图、合作图和活动图。
(3)进程视图:描述系统的并发性，并处理这些线程间的通信和同步;它将系统分割成并发执行的控制线程及处理这些线程的通信和同步。进程视图主要包括状态图、顺序图、合作图、活动图、构件图和配置图;对此关心的开发团队成员主要包括开发者和系统集成者。
(4)实现视图:描述系统代码构件组织和实现模块及它们之间的依赖关系;实现视图主要包括构件图;对此关心的开发团队成员主要有设计者、开发者和测试者。
(5)部署视图:定义系统中软硬件的物理体系结构及连接、哪个程序或对象驻留在哪台计算机上执行;主要包括配置图;对此关心的开发团队成员主要包括开发者、系统集成者和测
试者。

解答一下关于traefik的一点疑惑

发表于 2026-03-15 分类于 traefik 阅读次数： Disqus：

之前跟着大佬的脚步用上了traefik，但是对具体的原理不太理解，或者说比较疑惑
因为这个具体的配置是在后面服务的docker-compose配置文件的label上的
traefik好像没办法直接读到这个配置
现在搜索资料好像也没有很明确的介绍，包括官方文档，只是介绍了provider
结合一些已知信息，首先它要读取docker.sock

1	- /var/run/docker.sock:/var/run/docker.sock

这样就能使用docker的api来获取容器container的开始结束等事件
这样也能在事件发生时读取对应容器的配置label
比如当前这个应用的路由规则是

1	- "traefik.http.routers.myapp.rule=Host(`myapp.example.com`)"

让claude帮忙解答了下画了个图

这样理解起来感觉就明白多了，之前感觉挺难懂的

记录一下迁移服务器需要使用的一些命令

发表于 2026-03-08 分类于与服务器阅读次数： Disqus：

之前也有迁移过一些服务器，这次也是因为原来的续费太贵了，所以做了下迁移，直接续费1xxx每年，重新买一个99一年，
这里主要是两方面，一个是冷备份，我用的是rsync

1	rsync -avP --exclude xxxx1 --exclude xxxx2 server1:/home/username/xxx/ /local/xxx/

这里是三个注意点，一个是-avP表示是整个目录下的递归传输，显示具体的同步文件和进度，还能在断开后续传
第二个就是目录最后的/,如果缺少就不是目录下的整个同步
第三个是exclude，表示排除某些文件，如果有多个就像上面那样用多个--exclude

一个是最好用下zip压缩一些比如代码或者带有很多小文件的目录
zip命令因为不常用，也记录下

1	zip [options] output.zip file1 file2 ...

还有对应的解压缩

1	unzip -d destination output.zip

剩下的就是比较简单的docker命令
查看docker进行

docker ps

从docker复制文件

1	docker cp containerId:/tmp/xxxx /home/username/xxx

或者反过来

1	docker cp /home/username/xxx containerId:/tmp/xxx

以及导入mysql

1	msyql --default-character-set=utf8mb4 -u$USER -p$PASS $DATABASE <xxx.sql

这些感觉用到的比较多，
还有一个是traefik的，因为最新版的docker不支持traefik使用的一个api
我是用的Ubuntu 24.04
可以用这个命令安装指定版本

1	sudo apt-get install docker-ce=5:28.5.2-1~ubuntu.24.04~noble docker-ce-cli=5:28.5.2-1~ubuntu.24.04~noble containerd.io docker-buildx-plugin docker-compose-plugin

这个traefik的issue在这里
有兴趣的可以仔细看看
保险起见还可以用

1	sudo apt-mark hold docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

来把这些版本给固定住，就不会在每次apt udpate & apt upgrade 的时候给升级掉
还有docker
腾讯云经常是访问github跟docker.io这种会很慢
可以参考这篇，
是官方的文章，来加速docker的安装
简单截下命令

sudo apt-get update
sudo apt-get install ca-certificates curl -y
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://mirrors.cloud.tencent.com/docker-ce/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
echo   "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://mirrors.cloud.tencent.com/docker-ce/linux/ubuntu/ \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" |   sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

再安装

1	sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

启动

1	sudo systemctl start docker

还有拉取镜像加速
vim /etc/docker/daemon.json
写入以下内容

{
   "registry-mirrors": [
   "https://mirror.ccs.tencentyun.com"
  ]
}

然后保存

1	sudo systemctl start docker

重启下docker，完工