update transformer

mst272 · Jul 18, 2024 · b43dc1c · b43dc1c
1 parent 96644e3
commit b43dc1c
Show file tree

Hide file tree

Showing 2 changed files with 4 additions and 0 deletions.
diff --git a/README.md b/README.md
@@ -26,6 +26,7 @@ Tips: 图片完全由AI生成
 - [致谢](#-致谢)
 
 ## 📖 Latest News
+- [2024-07-19] 🤓RLHF 强化学习框架新增CPO,SimPO，以及二者融合CPO-SimPO
 - [2024-07-16] 🤓RLHF 强化学习框架更新完成，支持deepspeed单卡/多卡 进行强化学习lora、qlora等训练，详细可见[RLHF](./rlhf/README.md)
 - [2024-06-10] 🚀增加一步一步实现Transformer技术发文(包括代码等从零介绍)，可见 [技术发文](#技术发文)
 - [2024-06-9] 🚀支持DPO训练，分为单轮对话DPO(自己构建，方便魔改)和多轮对话DPO(简洁实现)，支持deepspeed的lora和qlora，具体介绍可见 [DPO使用说明](./train_args/dpo/README.md)

diff --git a/llm_tricks/transformer/README.md b/llm_tricks/transformer/README.md
@@ -0,0 +1,3 @@
+# Transformer代码详解：从头开始实现
+
+全部代码：https://github.com/mst272/transformer-pytorch
Original file line number	Diff line number	Diff line change
		@@ -0,0 +1,3 @@
		# Transformer代码详解：从头开始实现

		全部代码：https://github.com/mst272/transformer-pytorch