Zyphra ha lanzado Zyphra Hierarchical Attention (ZHA), un método de atención dispersa construido alrededor de un indexador con estructura de árbol. ZHA ataca una brecha conocida de la atención dispersa: el indexador que selecciona los tokens sigue escaneando todo el contexto. El artículo técnico de paper de Zyphra muestra que ZHA puede destilarse en modelos preentrenados congelados con unos 4B tokens. En Qwen3.6-35B-A3B se mantiene cerca de la atención densa en benchmarks de razonamiento, programación agéntica y recuperación de 256K.
TL;DR
- Tamaño: Es un método que añade 81,920 parámetros entrenables a Qwen3.6-35B-A3B (aproximadamente un 0.00024%). Probado hasta 256K de contexto.
- Funciona sobre: Adapta modelos preentrenados congelados tras un calentamiento KL de 4B tokens a 32K de contexto. Las aceleraciones provienen de un roofline H100 BF16 modelado. No se han publicado kernels optimizados. También se probó una variante de router FP4.
- Rendimiento: A pocos puntos de la atención densa en 7 benchmarks de razonamiento, programación y recuperación.
- Lo mejor: LongBench v2 alcanza 63.4% (árbol profundo) frente a 58.0% denso, usando alrededor del 1.1% de las claves.
- Lo peor: En Nemotron-3.5-Lightning-30B-A3B basado en NoPE, RULER-13 con árbol profundo cae 25.3 puntos por debajo de la versión densa.
¿Qué es Zyphra Hierarchical Attention (ZHA)?
ZHA es un método de atención dispersa de Zyphra que encuentra las claves relevantes buscando en un árbol. Conserva toda la caché KV. El árbol solo decide qué claves de la caché lee cada consulta.
Los métodos de estado fijo como los SSM y las ventanas deslizantes se saturan en contextos largos. Los métodos dispersos de grano fino como DeepSeek Sparse Attention puntúan cada token pasado con un indexador. La atención final es dispersa, pero el indexador sigue creciendo con todo el contexto.
Cerca de 1M tokens, trabajos citados muestran que la indexación ocupa el 60 a 90% del tiempo de la capa. ZHA hace que la búsqueda misma sea dispersa.
¿Cómo funciona el indexador en árbol de ZHA?
Construcción del árbol
ZHA divide las claves en bloques contiguos y comprime cada bloque en una clave resumen. Los resúmenes se agrupan y se vuelven a comprimir, nivel por nivel. Con tamaño de bloque 4, 6 niveles cubren 4,096 tokens por nodo superior.
Los resúmenes provienen de un pequeño conjunto de reference queriesaprendidas. Cada consulta de referencia da una estimación en plano tangente de la masa logarítmica de atención de un bloque. El máximo sobre estos planos aproxima cuánta atención daría cualquier consulta futura al bloque.
¿Cómo el enrutamiento top-p selecciona tokens?
En el momento de la decodificación, una consulta puntúa los nodos de nivel superior. Conserva el conjunto más pequeño que contiene una fracción p de la masa de atención estimada. Luego expande solo esos hijos, repitiendo hasta llegar a las entradas KV crudas.
Top-p hace que el presupuesto sea adaptativo. Una búsqueda de un solo dato toca pocas ramas. Una consulta que necesita muchos hechos dispersos expande más. El primer token siempre se conserva como un sumidero de atención.
¿Cómo se desempeña ZHA frente a la atención densa y MSA?
El equipo de Zyphra convirtió Qwen3.6-35B-A3B con 2 árboles: profundo (chunk 4, 6 niveles) y ancho (chunk 256, 1 nivel). Ambos usan 16 consultas de referencia y p = 0.95. También entrenó un MiniMax Sparse Attention (MSA) indexador en 40B tokens, 10x el presupuesto de ZHA.
| Benchmark (Qwen3.6-35B-A3B) | Densa | ZHA profundo | ZHA ancho | MSA |
|---|---|---|---|---|
| AIME 2026 | 93.1 | 91.2 | 90.8 | 91.7 |
| SWE-bench Verified | 67.4 | 67.4 | 68.4 | 63.6 |
| Terminal-Bench 2.1 | 49.9 | 46.7 | 53.3 | 46.1 |
| MMLU-Pro | 84.9 | 85.3 | 85.2 | 85.3 |
| GPQA Diamond | 84.8 | 85.0 | 85.0 | 83.1 |
| RULER-13 (256K) | 96.0 | 93.3 | 96.2 | 77.1 |
| LongBench v2 (con razonamiento) | 58.0 | 63.4 | 62.4 | 49.3 |
Fuente: arXiv 2610.42112, Figura 5. Todos los números son autoinformados por Zyphra.
La mayor brecha está en la recuperación de información. MSA cae a 77.1% en RULER-13, mientras que ambos árboles ZHA se mantienen por encima de 93%. En LongBench v2, el árbol profundo y MSA leen proporciones de claves similares (1.1% vs 1%). El árbol profundo obtiene 14.1 puntos más.
A lo largo de 28 geometrías de árbol, la precisión de RULER se mantuvo estable al atender entre 10 y 30% de las claves. Con compresión fija, los árboles más profundos mantuvieron la precisión a mayor dispersión. Un modelo de 4 parámetros predice la precisión de RULER a partir de la geometría con un RMSE de 1.44 puntos.
Back</button><button class="btn pri" id="znext">Siguiente paso </button><button class="btn" id="zplay">Reproducción automática</button><div class="dots" id="zdots"></div></div> </div></div> <div class="pn" id="zp2"><div class="box"> <div class="sel" id="zbsel"></div> <div id="zbars"></div> <p class="note">Qwen3.6-35B-A3B, p = 0.95, R = 16. Profundo = fragmento 4, 6 niveles. Ancho = fragmento 256, 1 nivel. MSA = bloques top-16 de 128, entrenado con 40B tokens. Autoinformado por Zyphra.</p> </div></div> <div class="pn" id="zp3"><div class="box"> <div class="sel" id="zksel"></div> <div id="zkbars"></div> <p class="note">Proporción de claves KV atendidas durante la decodificación. Menor significa más disperso. Top-p permite que el árbol profundo lea muchas menos claves en tareas de recuperación que en tareas de razonamiento difuso.</p> </div></div> <div class="pn" id="zp4"><div class="box"> <svg id="zlat" viewBox="0 0 800 300" role="img" aria-label="Latencia de decodificación modelada frente a longitud de secuencia"></svg> <div class="grid2" style="margin-top:10px"> <div class="kpi"><div class="n">~48K</div><div class="t">tokens donde el ZHA modelado supera la atención densa</div></div> <div class="kpi"><div class="n">~0.48M</div><div class="t">tokens donde el ZHA modelado supera a MSA</div></div> <div class="kpi"><div class="n">373 a 417x</div><div class="t">aceleración proyectada sobre densa a 1B tokens</div></div> <div class="kpi"><div class="n">52 a 58x</div><div class="t">aceleración proyectada sobre MSA a 1B tokens</div></div> </div> <p class="note">Modelo roofline: H100, BF16, 1 capa, tamaño de lote 1, ZHA R = 1, C = 8, p = 0.75. No son kernels medidos. Las curvas son esquemáticas, ancladas a los puntos de cruce reportados.</p> </div></div> <div class="pn" id="zp5"><div class="lim" id="zlim"> <div class="li"><b>Las aceleraciones son modeladas, no medidas.</b><div class="d">Zyphra no publicó kernels optimizados. La latencia más allá de 256K proviene de una proyección roofline. A 256K, las configuraciones frontera modelan solo 1.93x a 2.28x sobre densa.</div></div> <div class="li"><b>Los modelos NoPE pierden precisión en recuperación.</b><div class="d">En Nemotron-3.5-Lightning-30B-A3B, RULER-13 a p = 0.95 cae 25.3 puntos (profundo) y 10.2 puntos (ancho) por debajo de densa.</div></div> <div class="li"><b>Top-p debe escalar con la profundidad.</b><div class="d">Un p fijo por nivel reduce la cobertura efectiva a medida que los árboles crecen más profundos. Un p demasiado alto elimina la poda y vuelve al costo cuadrático.</div></div> <div class="li"><b>Los modelos pequeños tienen dificultades.</b><div class="d">Los modelos de menos de 1B parámetros se convirtieron mal. Los resultados mejoraron drásticamente a partir de 4B.</div></div> <div class="li"><b>Caída en Terminal-Bench 2.1.</b><div class="d">El árbol profundo obtiene 46.7% vs 49.9% de densa. El árbol ancho obtiene 53.3%.</div></div> </div><p class="note">Toque una tarjeta para expandir.</p></div> <div class="ft"><span>Fuentes: <a href="https://arxiv.org/abs/2610.42112" target="_blank" rel="noopener">arXiv 2610.42112</a> · <a href="https://zyphra.com/our-work/zyphra-hierarchical-attention" target="_blank" rel="noopener">blog de Zyphra</a></span><span class="mtp">© Marktechpost</span></div> <script> (function(){ var R=document.getElementById('mtp-zha'); function post(){try{parent.postMessage({mtpH:R.offsetHeight+40,type:'mtp-zha-h'},'*')}catch(e){}} R.querySelectorAll('.tb').forEach(function(b){b.addEventListener('click',function(){ R.querySelectorAll('.tb').forEach(function(x){x.classList.remove('on')});b.classList. add('on'); R.querySelectorAll('.pn').forEach(function(x){x.classList.remove('on')}); R.querySelector('#z'+b.dataset.p).classList.add('on'); if(b.dataset.p==='p2')drawB();if(b.dataset.p==='p3')drawK();if(b.dataset.p==='p4')drawL(); setTimeout(post,60);setTimeout(post,500);});}); /* ---------- árbol ---------- */ var NS='http://www.w3.org/2000/svg',T=R.querySelector('#ztree'); function el(n,a,p){var e=document.createElementNS(NS,n);for(var k in a)e.setAttribute(k,a[k]);(p||T).appendChild(e);return e} var L3=[],L2=[],L1=[],ED=[]; var y3=40,y2=125,y1=205,y0=270; for(var i=0;i<4;i++){L3.push({x:100+i*200,y:y3});} for(var i=0;i<16;i++){L2.push({x:40+i*48,y:y2,p:Math.floor(i/4)});} for(var i=0;i<64;i++){L1.push({x:28+i*11.7,y:y1,p:Math.floor(i/4)});} L2.forEach(function(n,i){ED.push({a:L3[n.p],b:n,lv:2,ci:i,pi:n.p})}); L1.forEach(function(n,i){ED.push({a:L2[n.p],b:n,lv:1,ci:i,pi:n.p})}); ED.forEach(function(e){e.el=el('line',{x1:e.a.x,y1:e.a.y,x2:e.b.x,y2:e.b.y,stroke:'#2a2a2a','stroke-width':1,class:'edge'})}); var kv=[];for(var i=0;i<64;i++){kv.push(el('rect',{x:24+i*11.7,y:y0-8,width:8,height:16,rx:2,fill:'#222',class:'node'}))} L1.forEach(function(n){n.el=el('circle',{cx:n.x,cy:n.y,r:4,fill:'#333',class:'node'})}); L2.forEach(function(n){n.el=el('circle',{cx:n.x,cy:n.y,r:8,fill:'#333',class:'node'})}); L3.forEach(function(n){n.el=el('circle',{cx:n.x,cy:n.y,r:14,fill:'#333',class:'node'})}); ['Nivel 3','Nivel 2','Nivel 1','KV cache'].forEach(function(t,i){var t1=el('text',{x:4,y:[y3,y2,y1,y0][i]-20,fill:'#9a9a96','font-size':11,'font-family':'Inter,sans-serif'});t1.textContent=t;}); var q=el('g',{});var qc=el('circle',{cx:400,cy:-30,r:13,fill:'#E7620F'},q);var qt=el('text',{x:400,y:-26,'text-anchor':'middle','font-size':12,'font-weight':700,fill:'#0A0A0A','font-family':'Inter,sans-serif'},q);qt.textContent='q'; var K3=[1],K2=[5,6],K1=[21,22,25],keep0={};K1.forEach(function(c){for(var j=0;j<4;j++)keep0[c*4+j]=1}); var C={off:'#333',sc:'#5a3a22',kp:'#E7620F',e:'#2a2a2a',ek:'#E7620F'}; var caps=[ '<b>Paso 1 · Construcción.</b> Las claves en bruto se agrupan en fragmentos (chunks). Cada fragmento se comprime en claves-resumen usando 16 consultas de referencia aprendidas. Los resúmenes se comprimen de nuevo, nivel por nivel.', '<b>Paso 2 · Puntuar la cima.</b> Una nueva consulta puntúa solo los resúmenes del nivel superior, no cada token.', '<b>Paso 3 · Poda top-p.</b> Se conserva el conjunto más pequeño de nodos que acumulan una fracción p de la masa de atención estimada. El resto se descarta como regiones completas.', '<b>Paso 4 · Descender.</b> Solo se puntúan los hijos de los nodos conservados. Las ramas pueden estar muy separadas en el contexto.', '<b>Paso 5 · Atender.</b> La atención exacta se ejecuta sobre las entradas KV en bruto seleccionadas, más el primer token (sink) y el fragmento actual. La caché KV completa sigue almacenada.']; var st=0,dots=R.querySelector('#zdots');caps.forEach(function(){var d=document.createElement('span');d.className='dot';dots.appendChild(d)}); function paint(){ var all=[].concat(L3,L2,L1);all.forEach(function(n){n.el.setAttribute('fill',C.off);n.el.setAttribute('opacity',1)}); ED.forEach(function(e){e.el.setAttribute('stroke',C.e);e.el.setAttribute('opacity',1)}); kv.forEach(function(k,i){k.setAttribute('fill','#222')}); qc.setAttribute('cy',-30);qt.setAttribute('y',-26); if(st===0){all.forEach(function(n){n.el.setAttribute('fill','#4a4a46')});kv.forEach(function(k){k.setAttribute('fill','#5a5a56')});} if(st>=1){qc.setAttribute('cy',14);qt.setAttribute('y',18);L3.forEach(function(n){n.el.setAttribute('fill',C.sc)});} if(st>=2){L3.forEach(function(n,i){if(K3.indexOf(i)>=0)n.el.setAttribute('fill',C.kp);else n.el.setAttribute('opacity',.35)});} if(st>=3){L2.forEach(function(n,i){if(K3.indexOf(n.p)>=0)n.el.setAttribute('fill',K2.indexOf(i)>=0?C.kp:C.sc);else n.el.setAttribute('opacity',.25)}); ED.forEach(function(e){if(e.lv===2&&K3.indexOf(e.pi)>=0&&K2.indexOf(e.ci)>=0)e.el. setAttribute('stroke',C.ek);}); L1.forEach(function(n,i){if(K2.indexOf(n.p)>=0)n.el.setAttribute('fill',K1.indexOf(i)>=0?C.kp:C.sc);else n.el.setAttribute('opacity',.25)}); ED.forEach(function(e){if(e.lv===1&&K2.indexOf(e.pi)>=0&&K1.indexOf(e.ci)>=0)e.el.setAttribute('stroke',C.ek);});} if(st>=4){kv.forEach(function(k,i){if(keep0[i]||i===0||i>=60)k.setAttribute('fill',i===0||i>=60?'#F4F4F2':C.kp);else k.setAttribute('fill','#1a1a1a')});} R.querySelector('#zcap').innerHTML=caps[st]; dots.querySelectorAll('.dot').forEach(function(d,i){d.classList.toggle('on',i===st)}); } var tm=null; R.querySelector('#znext').onclick=function(){st=(st+1)%caps.length;paint()}; R.querySelector('#zprev').onclick=function(){st=(st+caps.length-1)%caps.length;paint()}; R.querySelector('#zplay').onclick=function(){var b=this;if(tm){clearInterval(tm);tm=null;b.textContent='Reproducción automática';return}b.textContent='Pausa';tm=setInterval(function(){st=(st+1)%caps.length;paint()},2200)}; paint(); /* ---------- benchmarks ---------- */ var BD={'AIME 2026':[93.1,91.2,90.8,91.7],'SWE-bench Verified':[67.4,67.4,68.4,63.6],'Terminal-Bench 2.1':[49.9,46.7,53.3,46.1],'MMLU-Pro':[84.9,85.3,85.2,85.3],'GPQA Diamond':[84.8,85.0,85.0,83.1],'RULER-13 (256K)':[96.0,93.3,96.2,77.1],'LongBench v2':[58.0,63.4,62.4,49.3]}; var SN=['Denso','ZHA profundo','ZHA ancho','MSA'],SC=['#6b6b6b','#E7620F','#f2b27a','#4a7bd0']; var cb='RULER-13 (256K)'; function chips(id,keys,cur,fn){var w=R.querySelector(id);w.innerHTML='';keys.forEach(function(k){var c=document.createElement('button');c.className='chip'+(k===cur?' on':'');c.textContent=k;c.onclick=function(){fn(k)};w.appendChild(c)})} function bars(id,names,vals,cols,max,suf){var w=R.querySelector(id);w.innerHTML='';names.forEach(function(n,i){var r=document.createElement('div');r.className='row';r.innerHTML='<span class="lbl">'+n+'</span><div class="trk"><div class="bar" style="background:'+cols[i]+'"></div></div><span class="val">'+(suf==='%'&&vals[i]>=10?vals[i].toFixed(1):vals[i])+suf+'</span>';w.appendChild(r)}); requestAnimationFrame(function(){requestAnimationFrame(function(){w.querySelectorAll('.bar').forEach(function(b,i){b.style.width=Math.max(1.5,vals[i]/max*100)+'%'})})})} function drawB(){chips('#zbsel',Object.keys(BD),cb,function(k){cb=k;drawB()});bars('#zbars',SN,BD[cb],SC,100,'%')} var KD={'AIME 2026':[5.7,47,8.7],'MMLU-Pro':[16,81,85],'GPQA Diamond':[9,60,21],'RULER-13 (256K)':[2.8,42,0.76],'LongBench v2':[1.1,21,1]}; var ck='RULER-13 (256K)'; function drawK(){chips('#zksel',Object.keys(KD),ck,function(k){ck=k;drawK()});bars('#zkbars',['ZHA deep','ZHA wide','MSA'],KD[ck],['#E7620F','#f2b27a','#4a7bd0'],100,'%')} /* ---------- latencia ---------- */ var LT=R.querySelector('#zlat'); function drawL(){LT.innerHTML='';var x0=60,x1=780,yb=260,yt=20; function X(l){return x0+(l-3)/6*(x1-x0)}function Y(l){return yb-(l+2)/5*(yb-yt)} function e(n,a){var t=document.createElementNS(NS,n);for(var k in a)t.setAttribute(k,a[k]);LT.appendChild(t);return t} for(var i=3;i<=9;i++){e('line',{x1:X(i),y1:yt,x2:X(i),y2:yb,stroke:'#1f1f1f'});var t=e('text',{x:X(i),y:yb+18,'text-anchor':'middle',fill:'#9a9a96','font-size':11,'font-family':'Inter,sans-serif'});t.textContent='10^'+i;} var t2=e('text',{x:x0-8,y:yt+4,'text-anchor':'end',fill:'#9a9a96','font-size':11,'font-family':'Inter,sans-serif'});t2.textContent='slower';var t3=e('text',{x:x0-8,y:yb,'text-anchor':'end',fill:'#9a9a96','font-size':11,'font-family':'Inter,sans-serif'});t3.textContent='faster'; var lab=e('text',{x:(x0+x1)/2,y:yb+36,'text-anchor':'middle',fill:'#9a9a96','font-size':11,'font-family':'Inter,sans-serif'});lab.textContent='Sequence length (tokens, log scale)'; function curve(f,col,dash,name,ly){var d='';for(var l=3;l<=9;l+=.05){d+=(d?'L':'M')+X(l).toFixed(1)+' '+Y(f(l)).toFixed(1)}var p=e('path',{d:d,fill:'none',stroke:col,'stroke-width':3,'stroke-dasharray':dash||''});var len=p.getTotalLength();if(!dash){p.style.strokeDasharray=len;p.style.strokeDashoffset=len;p.getBoundingClientRect();p.style.transition='stroke-dashoffset 1.4s ease';p.style.strokeDashoffset=0;}var tt=e('text',{x:X(9)-14,y:ly,'text-anchor':'end',fill:col,'font-size':12,'font-weight':700,'font-family':'Inter,sans-serif'});tt.textContent=name;} var c48=Math.log10(48000),c48m=Math.log10(480000); function zha(l){return -1.35+0.1*(l-3)+0.035*(l-3)*(l-3)} function dense(l){return Math.max(-1.75,zha(c48)+0.85*(l-c48))} function msa(l){return Math.max(-1.6,zha(c48m)+0.75*(l-c48m))} curve(dense,'#9a9a96','5 5','Dense',Y(dense(9))-10);curve(msa,'#4a7bd0','8 4','MSA',Y(msa(9))-10);curve(zha,'#E7620F','','ZHA',Y(zha(9))+20); [[c48,'~48K'],[c48m,'~0.48M']].forEach(function(c){e('line',{x1:X(c[0]),y1:yt,x2:X(c[0]),y2:yb,stroke:'#E7620F','stroke-opacity':.5,'stroke-dasharray':'2 4'});var t=e('text',{x:X(c[0])+4,y:yt+12,fill:'#ff8a3d','font-size':11,'font-family':'Inter,sans-serif'});t.textContent=c[1];}); } /* ---------- advertencias ---------- */ R.querySelectorAll('.li').forEach(function(li){li.addEventListener('click',function(){li.classList.toggle('open');setTimeout(post,30)})}); window.addEventListener('load',post);setTimeout(post,200);setTimeout(post,1200); })(); </script> </div> </body></html>" style="width:100%;max-width:880px;height:600px;border:0;display:block;margin:0 auto;overflow:hidden" scrolling="no" loading="lazy">¿Qué tan rápido es ZHA?
Zyphra no publicó kernels. Modeló la latencia de decodificación de una capa con tamaño de lote 1 mediante un roofline. La configuración ligera utiliza 1 consulta de referencia, chunk 8 y p = 0.75.
En ese modelo, ZHA supera a la atención densa cerca de 48K tokens y a MSA cerca de 0.48M tokens. A 1B tokens, las aceleraciones proyectadas alcanzan 373 a 417x sobre la densa y 52 a 58x sobre MSA. La entrada del blog añade 32 a 35x y 4.7 a 5.1x a 10M tokens.
A 256K, las ganancias modeladas son modestas. Las configuraciones de la frontera de Pareto alcanzan 1.93x a 2.28x sobre la densa, con 92.7 a 96.4% en RULER-13. El enrutamiento y la selección añaden su propio costo.
¿Cómo se entrena ZHA sobre modelos existentes?
El modelo base permanece congelado. Solo se entrenan las consultas de referencia. Una pérdida KL iguala la masa de atención densa por chunk en cada nivel. Las ejecuciones de Qwen y Nemotron usaron 3.98B tokens a lo largo de 1,900 pasos con contexto de 32K.
Zyphra informa que los modelos de menos de 1B parámetros tuvieron dificultades durante la conversión. Los resultados mejoraron notablemente a partir de 4B.
ZHA frente a MSA, DSA y NSA
| Característica | ZHA (Zyphra) | MSA (MiniMax) | DSA (DeepSeek) | NSA (DeepSeek) |
|---|---|---|---|---|
| Indexador | Árbol multinivel de claves comprimidas | Indexador de bloques plano por grupo GQA | Indexador Lightning, a nivel de token | Compresión + selección + ventana deslizante |
| Regla de selección | Top-p por nivel (adaptativo) | Top-16 bloques de 128 tokens | Top-2,048 tokens | 16 bloques de 64 tokens, ventana de 512 |
| Costo del indexador | Sublineal por consulta (afirmado) | Rama de índice cuadrática | Puntúa cada clave en caché | No divulgado |
| Añadido al modelo preentrenado | Sí, ~4B de tokens, backbone congelado | Sí, CPT de 400B tokens | Entrenamiento continuado de V3.1-Terminus | Preentrenamiento nativo |
| El modelo más grande mostrado | MoE de 35B (Qwen3.6-35B-A3B) | MoE de 109B, 6B activos | MoE de 685B | MoE de 27B, ~3B activos |
| Aceleración reportada | Solo modelada (roofline de H100) | 14.2x en prefill, 7.6x en decode a 1M (H800) | No divulgado | Aceleraciones a 64K, solo figura |
Conclusiones clave
- ZHA busca en la caché KV con un árbol, no con un escaneo plano.
- Solo 81,920 parámetros se entrenan sobre un modelo 35B congelado.
- Un árbol amplio alcanza 96.2% en RULER-13 a 256K frente al 96.0% denso.
- MSA cae a 77.1% en la misma prueba RULER.
- Las aceleraciones de mil millones de tokens son proyecciones, no mediciones.
Echa un vistazo al artículo de ZHA en arXiv y al blog técnico de Zyphra. Además, siéntete libre de seguirnos en Twitter y no olvides unirte a nuestro SubReddit de ML de más de 150k y suscribirte a nuestro Newsletter. ¡Espera! ¿estás en telegram? ahora también puedes unirte a nosotros en telegram.
¿Necesitas asociarte con nosotros para promocionar tu Repositorio de GitHub O Página de Hugging Face O Lanzamiento de Producto O Webinar, etc.? Conéctate con nosotros
La publicación Zyphra AI presenta Zyphra Hierarchical Attention (ZHA): un camino hacia una atención verdaderamente subcuadrática apareció primero en MarkTechPost.