Skip to content

Commit d1fab12

Browse files
ZailiWangjingxu10
ZailiWang
and
jingxu10
authored
update single instance table in llm rst (#2593)
* update single instance table * correction * update ds model support table; try with another center align approach * add a test table * update LLM validated model tables * update release notes * update install page default version in intro.rst * update release notes --------- Co-authored-by: Jing Xu <jing.xu@intel.com>
1 parent 211813b commit d1fab12

File tree

5 files changed

+433
-186
lines changed

5 files changed

+433
-186
lines changed

‎docs/_static/htmls/tbl_deepspeed.html‎

Lines changed: 124 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,124 @@
1+
<table class="docutils align-default">
2+
<thead>
3+
<tr class="row-odd">
4+
<th class="head" style="text-align: center; vertical-align: middle;">MODEL<br />FAMILY</th>
5+
<th class="head" style="text-align: center; vertical-align: middle;">MODEL NAME<br />(Huggingface hub)</th>
6+
<th class="head" style="text-align: center; vertical-align: middle;">BF16</th>
7+
<th class="head" style="text-align: center; vertical-align: middle;">Weight-Only<br />Quantization<br />INT8</th>
8+
</tr>
9+
</thead>
10+
<tbody>
11+
<tr class="row-even">
12+
<td><p>LLAMA</p></td>
13+
<td><p>meta-llama/Llama-2-7b-hf</p></td>
14+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
15+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
16+
</tr>
17+
<tr class="row-odd">
18+
<td><p>LLAMA</p></td>
19+
<td><p>meta-llama/Llama-2-13b-hf</p></td>
20+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
21+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
22+
</tr>
23+
<tr class="row-even">
24+
<td><p>LLAMA</p></td>
25+
<td><p>meta-llama/Llama-2-70b-hf</p></td>
26+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
27+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
28+
</tr>
29+
<tr class="row-odd">
30+
<td><p>GPT-J</p></td>
31+
<td><p>EleutherAI/gpt-j-6b</p></td>
32+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
33+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
34+
</tr>
35+
<tr class="row-even">
36+
<td><p>GPT-NEOX</p></td>
37+
<td><p>EleutherAI/gpt-neox-20b</p></td>
38+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
39+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
40+
</tr>
41+
<tr class="row-odd">
42+
<td><p>DOLLY</p></td>
43+
<td><p>databricks/dolly-v2-12b</p></td>
44+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
45+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
46+
</tr>
47+
<tr class="row-even">
48+
<td><p>FALCON</p></td>
49+
<td><p>tiiuae/falcon-40b</p></td>
50+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
51+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
52+
</tr>
53+
<tr class="row-odd">
54+
<td><p>OPT</p></td>
55+
<td><p>facebook/opt-30b</p></td>
56+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
57+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
58+
</tr>
59+
<tr class="row-even">
60+
<td><p>OPT</p></td>
61+
<td><p>facebook/opt-1.3b</p></td>
62+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
63+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
64+
</tr>
65+
<tr class="row-odd">
66+
<td><p>Bloom</p></td>
67+
<td><p>bigscience/bloom-1b7</p></td>
68+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
69+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
70+
</tr>
71+
<tr class="row-even">
72+
<td><p>CodeGen</p></td>
73+
<td><p>Salesforce/codegen-2B-multi</p></td>
74+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
75+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
76+
</tr>
77+
<tr class="row-odd">
78+
<td><p>Baichuan</p></td>
79+
<td><p>baichuan-inc/Baichuan2-7B-Chat</p></td>
80+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
81+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
82+
</tr>
83+
<tr class="row-even">
84+
<td><p>Baichuan</p></td>
85+
<td><p>baichuan-inc/Baichuan2-13B-Chat</p></td>
86+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
87+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
88+
</tr>
89+
<tr class="row-odd">
90+
<td><p>Baichuan</p></td>
91+
<td><p>baichuan-inc/Baichuan-13B-Chat</p></td>
92+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
93+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
94+
</tr>
95+
<tr class="row-even">
96+
<td><p>GPTBigCode</p></td>
97+
<td><p>bigcode/starcoder</p></td>
98+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
99+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
100+
</tr>
101+
<tr class="row-odd">
102+
<td><p>T5</p></td>
103+
<td><p>google/flan-t5-xl</p></td>
104+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
105+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
106+
</tr>
107+
<tr class="row-even">
108+
<td><p>Mistral</p></td>
109+
<td><p>mistralai/Mistral-7B-v0.1</p></td>
110+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
111+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
112+
</tr>
113+
<tr class="row-odd">
114+
<td><p>MPT</p></td>
115+
<td><p>mosaicml/mpt-7b</p></td>
116+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
117+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
118+
</tr>
119+
</tbody>
120+
</table>
121+
<ul class="simple">
122+
<li><p>🟩 signifies that the model can perform well and with good accuracy (&lt;1% difference as compared with FP32).</p></li>
123+
<li><p>🟨 signifies that the model can perform well while accuracy may not been in a perfect state (&gt;1% difference as compared with FP32).</p></li>
124+
</ul>

‎docs/_static/htmls/tbl_single.html‎

Lines changed: 199 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,199 @@
1+
<table class="docutils align-default">
2+
<thead>
3+
<tr class="row-odd">
4+
<th class="head" style="text-align: center; vertical-align: middle;">MODEL<br />FAMILY</th>
5+
<th class="head" style="text-align: center; vertical-align: middle;">MODEL NAME<br />(Huggingface hub)</th>
6+
<th class="head" style="text-align: center; vertical-align: middle;">FP32</th>
7+
<th class="head" style="text-align: center; vertical-align: middle;">BF16</th>
8+
<th class="head" style="text-align: center; vertical-align: middle;">Static<br />Quantization<br />INT8</th>
9+
<th class="head" style="text-align: center; vertical-align: middle;">Weight-Only<br />Quantization<br />INT8</th>
10+
<th class="head" style="text-align: center; vertical-align: middle;">Weight-Only<br />Quantization<br />INT4</th>
11+
</tr>
12+
</thead>
13+
<tbody>
14+
<tr class="row-even">
15+
<td><p>LLAMA</p></td>
16+
<td><p>meta-llama/Llama-2-7b-hf</p></td>
17+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
18+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
19+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
20+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
21+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
22+
</tr>
23+
<tr class="row-odd">
24+
<td><p>LLAMA</p></td>
25+
<td><p>meta-llama/Llama-2-13b-hf</p></td>
26+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
27+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
28+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
29+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
30+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
31+
</tr>
32+
<tr class="row-even">
33+
<td><p>LLAMA</p></td>
34+
<td><p>meta-llama/Llama-2-70b-hf</p></td>
35+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
36+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
37+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
38+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
39+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
40+
</tr>
41+
<tr class="row-odd">
42+
<td><p>GPT-J</p></td>
43+
<td><p>EleutherAI/gpt-j-6b</p></td>
44+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
45+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
46+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
47+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
48+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
49+
</tr>
50+
<tr class="row-even">
51+
<td><p>GPT-NEOX</p></td>
52+
<td><p>EleutherAI/gpt-neox-20b</p></td>
53+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
54+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
55+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
56+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
57+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
58+
</tr>
59+
<tr class="row-odd">
60+
<td><p>DOLLY</p></td>
61+
<td><p>databricks/dolly-v2-12b</p></td>
62+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
63+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
64+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
65+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
66+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
67+
</tr>
68+
<tr class="row-even">
69+
<td><p>FALCON</p></td>
70+
<td><p>tiiuae/falcon-40b</p></td>
71+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
72+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
73+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
74+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
75+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
76+
</tr>
77+
<tr class="row-odd">
78+
<td><p>OPT</p></td>
79+
<td><p>facebook/opt-30b</p></td>
80+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
81+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
82+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
83+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
84+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
85+
</tr>
86+
<tr class="row-even">
87+
<td><p>OPT</p></td>
88+
<td><p>facebook/opt-1.3b</p></td>
89+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
90+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
91+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
92+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
93+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
94+
</tr>
95+
<tr class="row-odd">
96+
<td><p>Bloom</p></td>
97+
<td><p>bigscience/bloom-1b7</p></td>
98+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
99+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
100+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
101+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
102+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
103+
</tr>
104+
<tr class="row-even">
105+
<td><p>CodeGen</p></td>
106+
<td><p>Salesforce/codegen-2B-multi</p></td>
107+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
108+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
109+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
110+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
111+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
112+
</tr>
113+
<tr class="row-odd">
114+
<td><p>Baichuan</p></td>
115+
<td><p>baichuan-inc/Baichuan2-7B-Chat</p></td>
116+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
117+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
118+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
119+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
120+
<td><p style="text-align: center; vertical-align: middle;"></p></td>
121+
</tr>
122+
<tr class="row-even">
123+
<td><p>Baichuan</p></td>
124+
<td><p>baichuan-inc/Baichuan2-13B-Chat</p></td>
125+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
126+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
127+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
128+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
129+
<td><p style="text-align: center; vertical-align: middle;"></p></td>
130+
</tr>
131+
<tr class="row-odd">
132+
<td><p>Baichuan</p></td>
133+
<td><p>baichuan-inc/Baichuan-13B-Chat</p></td>
134+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
135+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
136+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
137+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
138+
<td><p style="text-align: center; vertical-align: middle;"></p></td>
139+
</tr>
140+
<tr class="row-even">
141+
<td><p>ChatGLM</p></td>
142+
<td><p>THUDM/chatglm3-6b</p></td>
143+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
144+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
145+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
146+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
147+
<td><p style="text-align: center; vertical-align: middle;"></p></td>
148+
</tr>
149+
<tr class="row-odd">
150+
<td><p>ChatGLM</p></td>
151+
<td><p>THUDM/chatglm2-6b</p></td>
152+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
153+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
154+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
155+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
156+
<td><p style="text-align: center; vertical-align: middle;"></p></td>
157+
</tr>
158+
<tr class="row-even">
159+
<td><p>GPTBigCode</p></td>
160+
<td><p>bigcode/starcoder</p></td>
161+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
162+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
163+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
164+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
165+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
166+
</tr>
167+
<tr class="row-odd">
168+
<td><p>T5</p></td>
169+
<td><p>google/flan-t5-xl</p></td>
170+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
171+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
172+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
173+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
174+
<td><p style="text-align: center; vertical-align: middle;"></p></td>
175+
</tr>
176+
<tr class="row-even">
177+
<td><p>Mistral</p></td>
178+
<td><p>mistralai/Mistral-7B-v0.1</p></td>
179+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
180+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
181+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
182+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
183+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
184+
</tr>
185+
<tr class="row-odd">
186+
<td><p>MPT</p></td>
187+
<td><p>mosaicml/mpt-7b</p></td>
188+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
189+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
190+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
191+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
192+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
193+
</tr>
194+
</tbody>
195+
</table>
196+
<ul class="simple">
197+
<li><p>🟩 signifies that the model can perform well and with good accuracy (&lt;1% difference as compared with FP32).</p></li>
198+
<li><p>🟨 signifies that the model can perform well while accuracy may not been in a perfect state (&gt;1% difference as compared with FP32).</p></li>
199+
</ul>

‎docs/tutorials/introduction.rst‎

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -16,7 +16,7 @@ the `Large Language Models (LLM) <llm.html>`_ section.
1616

1717
Get Started
1818
-----------
19-
- `Installation <../../../index.html#installation?platform=cpu&version=v2.1.100%2Bcpu>`_
19+
- `Installation <../../../index.html#installation?platform=cpu&version=v2.2.0%2Bcpu>`_
2020
- `Quick Start <getting_started.md>`_
2121
- `Examples <examples.md>`_
2222

0 commit comments

Comments
 (0)