భావనాత్మక చిత్రణ: పేర్చిన మెమరీకి చిన్న, వెడల్పైన లింక్, దూరంగా ఉన్న మెమరీకి పొడవైన, సన్నని లింక్. డేటా నెమ్మదిగా వస్తే వేగవంతమైన చిప్ కూడా ఎదురు చూస్తుంది.
వేగవంతమైన చిప్ ఒక్కటే AIని వేగవంతం చేయదు
డేటా చిప్‌కు తగినంత వేగంగా చేరకపోతే, వేగవంతమైన AI చిప్ కూడా AIని వేగవంతం చేయదు.
చిప్ తన వద్ద ఇప్పటికే ఉన్న డేటాపై మాత్రమే పని చేయగలదు. డేటా నెమ్మదిగా వస్తే చిప్ ఎదురు చూస్తుంది. ఒక మోడల్ జవాబు రాయడానికి తీసుకునే సమయంలో చాలా భాగం, పరిమితి లెక్కింపు కాదు, ఆ ఎదురు చూపే.
ఆ ఎదురు చూపును తగ్గించడానికి రూపొందించిన మెమరీ గురించి ఈ వ్యాసం వివరిస్తుంది. దాన్ని HBM అంటారు, అంటే high bandwidth memory. అది ఏమిటి, AI దాన్ని ఎందుకు అంతగా వాడుతుంది, అది ఎందుకు సరిపోవడం లేదు, AI ఖర్చుపైన, సాధారణ పరికరాల ఖర్చుపైన దాని ప్రభావం ఏమిటి అనేది మీరు తెలుసుకుంటారు.
ప్రాసెసర్‌కు మెమరీ ఏం చేస్తుంది
ప్రాసెసర్ లెక్కింపులు చేస్తుంది. అది పని చేస్తున్న డేటాను మెమరీ ఉంచుతుంది.
మెమరీని రెండు సంఖ్యలు వివరిస్తాయి. కెపాసిటీ అంటే అది ఎంత ఉంచగలదు. బ్యాండ్‌విడ్త్ అంటే మెమరీకి, ప్రాసెసర్‌కు మధ్య డేటా ఎంత వేగంగా కదలగలదు.
ఒక వంటవాడిని, ఒక పంట్రీని ఊహించండి. కెపాసిటీ అంటే పంట్రీ పరిమాణం. బ్యాండ్‌విడ్త్ అంటే వంటవాడు ప్రతి సెకనుకు కౌంటర్ వద్దకు ఎన్ని పదార్థాలు మోసుకురాగలడు. పంట్రీకి వెళ్లే దారి నెమ్మదిగా ఉంటే, ఎంత వేగవంతమైన వంటవాడైనా రోజులో ఎక్కువ సమయం ఎదురు చూస్తూనే గడుపుతాడు.
HBM అంటే ఏమిటి
HBM సాధారణ కంప్యూటర్ మెమరీకి ఆధారమైన అదే ప్రాథమిక సాంకేతికతతో తయారవుతుంది, దాన్ని DRAM అంటారు. తేడా అది ఎలా అమర్చబడిందనే. అనేక మెమరీ చిప్‌లను భవనంలోని అంతస్తుల్లా ఒకదానిపై ఒకటి పేర్చి, through-silicon vias అనే సూక్ష్మ నిలువు కనెక్షన్‌లతో కలుపుతారు. ఈ స్టాక్‌ను అదే ప్యాకేజీ లోపల, ఉమ్మడి బేస్‌పై, ప్రాసెసర్ పక్కనే ఉంచుతారు.
ఈ అమరిక వల్ల రెండు ప్రయోజనాలు. మెమరీకి, ప్రాసెసర్‌కు మధ్య దూరం చాలా తక్కువ. వాటి మధ్య లింక్ చాలా వెడల్పుగా ఉంటుంది, అంటే చాలా బిట్లు ఒకేసారి కదలగలవు.
తాజా తరం ప్రమాణం HBM4, JEDEC April 2025లో ప్రకటించిన ప్రమాణం ప్రకారం, ప్రతి స్టాక్‌కు 2,048-bit ఇంటర్‌ఫేస్‌ను, సెకనుకు 2 terabytes వరకు వేగాన్ని వివరిస్తుంది. పోలిక కోసం, హై-ఎండ్ గ్రాఫిక్స్ కార్డ్ తన మెమరీకి 512-bit ఇంటర్‌ఫేస్‌ను వాడగలదు.
ఈ చిత్రానికి యాక్సెసిబుల్ టెక్స్ట్ ప్రత్యామ్నాయం
రెండు అమరికల పోలిక. మొదటి దానిలో, ఉమ్మడి బేస్ మధ్యలో ప్రాసెసర్ ఉంటుంది, ఇరువైపులా నాలుగు మెమరీ పొరల HBM స్టాక్ ఉంటుంది, చిన్న, చాలా వెడల్పైన లింక్‌లతో కలిసి ఉంటాయి. HBM4 ఒక్కో స్టాక్‌కు 2,048 bits వాడుతుంది.
రెండో దానిలో, ప్రాసెసర్ సర్క్యూట్ బోర్డు ఒక చివర, మెమరీ చిప్‌లు మరో చివర ఉంటాయి, పొడవైన, ఇరుకైన లింక్‌తో కలిసి ఉంటాయి. హై-ఎండ్ గ్రాఫిక్స్ కార్డ్ 512 bits వాడగలదు.
ఈ డిజైన్ ధర సంక్లిష్టత. స్టాకింగ్‌ను బాగా చేయడం కష్టం, interposer అనే ఉమ్మడి బేస్ వల్ల ఫలితం సర్క్యూట్ బోర్డుపై ఉండే సాధారణ మెమరీ కంటే ఖరీదైనది అవుతుంది.
ఆధునిక AI చిప్ అనేక స్టాక్‌లను మోస్తుంది. NVIDIA తన H100 data-center చిప్‌ను 80 GB మెమరీతో, సెకనుకు 3.35 terabytes బ్యాండ్‌విడ్త్‌తో జాబితా చేస్తుంది. AMD తన MI455Xను 12 స్టాక్‌లలో 432 GB HBM4తో, వాటిలో 72తో ఉన్న ఒక rackను మొత్తం 31 terabytes HBM4తో జాబితా చేస్తుంది. ఇవి విక్రేతల గణాంకాలు, కాబట్టి ప్రతి కంపెనీ తన సొంత ఉత్పత్తి గురించి చెప్పుకునేవిగా చదవండి.
AIకి ఇంత మెమరీ ఎందుకు కావాలి
AI మోడల్ జవాబు రాస్తున్నప్పుడు, అది ఒకసారి ఒక టెక్స్ట్ ముక్కను తయారు చేస్తుంది, దాన్ని token అంటారు. ప్రతి token కోసం, చిప్ మెమరీ నుంచి మోడల్ నిల్వ చేసిన సంఖ్యలను చదవాలి, వాటిని weights అంటారు. అది ఇప్పటివరకు జరిగిన సంభాషణ యొక్క నడుస్తున్న రికార్డును కూడా చదువుతుంది, దాన్ని KV cache అంటారు. KV cache గురించి మేము ఓపెన్ AI మోడళ్లను మీరే నడపడం: దానికి నిజంగా ఏమి కావాలిలో వివరించాం.
inferenceపై ఒక పరిశోధన preprint ఈ దశను “strictly bandwidth-bound” అని వర్ణిస్తుంది, అంటే మెమరీ వేగమే గమనాన్ని నిర్ణయిస్తుంది. ఒక చిప్ ఒకేసారి ఎంతమంది వినియోగదారులకు సేవ చేయగలదో HBM కెపాసిటీ పరిమితం చేస్తుందని, ప్రతి జవాబు ఎంత వేగంగా వస్తుందో బ్యాండ్‌విడ్త్ పరిమితం చేస్తుందని అదే పత్రం తేల్చింది.
అది ఒక ఉదాహరణ ఇస్తుంది: ఒక్కొక్కటి 10,000 reasoning tokensతో 128 requestsకు సేవ చేయడానికి కేవలం cache కోసమే 1.3 terabytes కంటే ఎక్కువ మెమరీ కావాలి. ఇది ఒక preprint, దాని నలుగురు రచయితల్లో ఇద్దరు మెమరీ తయారీదారైన Micronలో పని చేస్తారు, కాబట్టి దీన్ని సమాచారయుతమైనదిగా చదవండి, కానీ పూర్తిగా స్వతంత్రమైనదిగా కాదు. అనేక ప్రత్యేక భాగాలతో నిర్మించిన చాలా పెద్ద మోడల్స్ మెమరీ వేగం కంటే routing వల్ల పరిమితం కావచ్చని రచయితలు గమనించారు. కాబట్టి మెమరీ ఒక పెద్ద పరిమితి, కానీ ఒక్కటే కాదు.
పరిమాణాన్ని చూపడానికి ఒక సులభమైన లెక్క ఇది. ఒక్కో weightకు రెండు bytes చొప్పున నిల్వ చేసిన 70 billion weights ఉన్న మోడల్‌కు weights కోసమే సుమారు 140 GB కావాలి. అది మా సొంత అంకగణితం, KV cacheను లెక్కించక ముందే అది H100 యొక్క 80 GBలో ఇమడదు. పెద్ద మోడల్స్, పొడవైన సంభాషణలు అవసరాన్ని ఇంకా పెంచుతాయి.
ఇదే ఒత్తిడిని ఖర్చు వైపు నుంచి AI inference, load balancing గురించి మన ఆలోచనను ఎందుకు మారుస్తోందిలో, సామర్థ్యం వైపు నుంచి Microsoft Maia 300: మెరుగైన మోడళ్లను నిర్మించడం అంత ముఖ్యంగా AIని సమర్థవంతంగా నడపడం ఎందుకు మారుతోందిలో చూశాం.
ఇది ఎందుకు సరిపోవడం లేదు
నాలుగు విషయాలు కలిసి ఉన్నాయి, అవి ఒకదాన్ని ఒకటి బలపరుస్తాయి.
- తక్కువ తయారీదారులు. HBM సరఫరా మూడు కంపెనీల చేతుల్లో కేంద్రీకృతమై ఉంది: SK hynix, Micron, Samsung. మా అభిప్రాయంలో, కొత్త సంస్థ అందుకోవడానికి సంవత్సరాలు పడుతుంది.
- తయారు చేయడం కష్టం. చిప్‌లను పేర్చి, కలిపి, ప్రాసెసర్ పక్కన ప్యాకేజ్ చేయడానికి ప్రత్యేక దశలు కావాలి. భవిష్యత్తులోని మరింత సంక్లిష్టమైన HBMకు ఎక్కువ “trade ratios” ఉంటాయని, అంటే ప్రతి బిట్‌కు ఎక్కువ ఫ్యాక్టరీ సామర్థ్యం వాడుతుందని, ఇది సరఫరాను పరిమితం చేస్తుందని Micron చీఫ్ ఆపరేటింగ్ ఆఫీసర్ చెప్పారు. తమకు “a big shortage on the back end” ఉందని, అంటే ప్యాకేజింగ్ దశలో, TSMC CEO తమ earnings callలో చెప్పారు.
- డిమాండ్ వేగంగా పెరుగుతోంది. ప్రతి AI rackకు చాలా HBM కావాలి, నిర్మిస్తున్న racks సంఖ్య పెరుగుతోంది.
- కొత్త సామర్థ్యం నెమ్మదిగా వస్తుంది. Micron earnings call నుంచి సంగ్రహించిన ప్రకారం, దాని మొదటి కొత్త Idaho fab ఉత్పత్తి mid-2027లో, తరువాతి fabs 2028, 2030లో వస్తాయి. ఈ తేదీలను మేము call లోనే చదవలేదు.
ఈ నెల ఫలితాలు ఏం చూపుతున్నాయి
రెండు కంపెనీలు ఫలితాలను ప్రకటించాయి, అవి గొలుసు రెండు చివరల దృశ్యాన్ని ఇస్తాయి. కింది గణాంకాలు గుర్తించినవి తప్ప వారి సొంత filingsనుంచే వచ్చాయి.
| కంపెనీ | ఏం ప్రకటించింది | అదనంగా ఏం చెబుతుంది |
|---|---|---|
| TSMC (చిప్ తయారీదారు, 15 October) | ఆదాయం NT$1,494.24 billion, ఏడాది క్రితంతో పోలిస్తే 50.9 percent పెరుగుదల. నికర ఆదాయం NT$763.06 billion, 68.7 percent పెరుగుదల. దాని కొత్త 2nm ప్రక్రియ wafer ఆదాయంలో 8 percent. | CEO C.C. Wei డిమాండ్ సరఫరా కంటే ఎక్కువగా ఉందని, ఆ అంతరం “still quite big” అని చెప్పారు. ఈ కోట్ మూడో పక్షం transcript నుంచి వచ్చింది, దానిలో అస్పష్టమైన భాగాలు ఉన్నాయి. |
| Micron (మెమరీ తయారీదారు, 30 September) | నాలుగో త్రైమాసిక ఆదాయం $54.23 billion, పూర్తి సంవత్సర ఆదాయం $133.19 billion. తదుపరి త్రైమాసికానికి $61.5 billion అంచనా ఇచ్చింది. | దాని చీఫ్ ఆపరేటింగ్ ఆఫీసర్ “we really don’t have line of sight to when supply and demand balances.” అన్నారు. |
| AMD (చిప్ డిజైనర్) | ప్రతి MI455Xలో 432 GB HBM4, 72 చిప్‌ల rackలో 31 TB జాబితా చేసింది. AMD తన Helios rack యొక్క volume deployments 2026 రెండో అర్ధభాగంలో ఉంటాయని ఆశిస్తోంది. | MI455Xకు తాము ఇష్టపడే HBM4 సరఫరాదారు తామేనని Samsung March 2026లో చెప్పింది. ఇది Samsung సొంత ప్రకటన. |
ఇక్కడ ఒక జాగ్రత్త ముఖ్యం. సరఫరా కొరతగా ఉందని చెబుతున్న కంపెనీలే దాన్ని అమ్మేవి, కొరత వాటి ధరలకు సహాయపడుతుంది.
Micron తన తదుపరి త్రైమాసికానికి సుమారు 86 percent gross margin అంచనా ఇచ్చింది, ఇది దాని స్థానం ఎంత బలంగా ఉందో చూపుతుంది. అంచనాలను సమాచారయుతమైనవిగా, కానీ ఆసక్తి ఉన్నవిగా చూడండి.
వీటితో పాటు మరో రెండు దృక్కోణాలను గమనించాలి. స్వతంత్ర పరిశోధనా సంస్థ TrendForce 16 October bulletinలో HBM 2028 వరకు తక్కువ సరఫరాలోనే ఉంటుందని చెప్పింది. ఆ bulletin చెల్లింపు నివేదిక సారాంశం, కాబట్టి దాని సంఖ్యలను మేము చదవలేకపోయాం.
సామర్థ్యం పెరిగే కొద్దీ 2026 తర్వాత HBM ధరలు సర్దుకుంటాయని కొందరు పరిశోధకులు ఆశిస్తున్నారని SK hynix సొంత outlook పేర్కొంది. సరఫరా తక్కువగా ఉండటం, ధరలు ఎక్కువగా ఉండటం ఒకే వాదన కాదు.
ఇది సాధారణ పరికరాలకు ఎందుకు చేరుతుంది
TrendForce ప్రకారం, HBM, సాధారణ మెమరీ ఒకే పరిమిత చిప్-తయారీ సామర్థ్యంపై ఆధారపడతాయి. తయారీదారులు ఎక్కువ భాగాన్ని HBMకి ఇచ్చినప్పుడు, laptops, ఫోన్లలోని మెమరీకి తక్కువ మిగులుతుంది. స్వతంత్ర పరిశోధనా సంస్థ TrendForce 30 September నాడు, 2026 చివరి త్రైమాసికంలో conventional DRAM contract ధరలు ఒక త్రైమాసికం నుంచి మరొక త్రైమాసికానికి 10 నుంచి 15 percent పెరుగుతాయని అంచనా వేసింది.
అధిక మెమరీ ఖర్చులు notebook అమ్మకాలపై ఒత్తిడి తెస్తున్నాయని, కొన్ని PC బ్రాండ్లు mainstream మోడల్స్‌లో SSD పరిమాణాలను తగ్గిస్తున్నాయని, స్మార్ట్‌ఫోన్ ఉత్పత్తి వెనక్కి లాగబడుతోందని కూడా అది నివేదించింది. mobile, client కస్టమర్లకు తాము పంపిన మెమరీ bits వరుసగా తగ్గాయని Micron COO చెప్పారు.
ఇందులో ఎంతవరకు HBM వల్ల అనేదానికి TrendForce సంఖ్య ఇవ్వదు. కాబట్టి సంబంధం నిజమే, కానీ దాని పరిమాణం తెలియదు.
HBM వల్ల వచ్చిన cloud AI సేవల ధర పెరుగుదల ధృవీకరించబడినట్లు మేము కనుగొనలేదు. మీరు AIని గంటకు లేదా token చొప్పున కొంటే, మెమరీ ఖర్చును ఈరోజు ఉన్న వాస్తవంగా కాకుండా, ప్రణాళిక వేసుకోవాల్సిన ప్రమాదంగా చూడండి. ఇదే కథలోని విద్యుత్ వైపు కోసం AI వద్ద డబ్బు, చిప్‌లు ఉన్నాయి. విద్యుత్ నిజమైన పరిమితిగా ఎందుకు మారుతోంది చూడండి.
ఇది ఎంత లోతుగా నేర్చుకోవాలి
తెలుసుకోండి: AIకి దగ్గరగా పని చేసే దాదాపు అందరూ ఇంత తెలుసుకోవాలి. HBM అంటే ప్రాసెసర్ పక్కన పేర్చిన మెమరీ, AI దాన్ని నిరంతరం చదువుతుంది, సరఫరా పరిమితం. AI హార్డ్‌వేర్ ఎందుకు ఖరీదైనదో, GPU ఎంపిక వేగం అంతే మెమరీకి సంబంధించినదని ఇది వివరిస్తుంది.
ఉపయోగించండి: AI workloads పరిమాణాన్ని నిర్ణయించే ఇంజనీర్లు, ఒక మోడల్‌కు, దాని సంభాషణలకు ఎంత మెమరీ కావాలో అంచనా వేయగలగాలి, దాన్ని అందుబాటులో ఉన్న చిప్‌ల మెమరీ, బ్యాండ్‌విడ్త్‌తో పోల్చగలగాలి. చిప్ రకాల విస్తృత చిత్రం కోసం CPU vs GPU vs TPU vs NPU vs LPU vs DPU: తేడా ఏమిటి, వాటిని ఎప్పుడు ఉపయోగిస్తారు? చూడండి.
నైపుణ్యం సాధించండి: హార్డ్‌వేర్, ఇన్‌ఫ్రాస్ట్రక్చర్ ఆర్కిటెక్ట్‌లకు వివరాలు కావాలి. స్టాక్‌లు ఎలా నిర్మించబడి, ప్యాకేజ్ చేయబడతాయి, వేర్వేరు workloads మెమరీని ఎలా వాడతాయి, బహుళ-సంవత్సరాల కొనుగోలులో సరఫరా ప్రమాదానికి ఎలా ప్రణాళిక వేయాలి అనేవి అందులో ఉన్నాయి.
ఇప్పటికి వదిలేయదగినవి
HBM తరాల పేర్లను, వేగ గ్రేడ్‌లను, మార్కెట్ వాటా పట్టికలను గుర్తుపెట్టుకోవాల్సిన అవసరం లేదు. అవి ప్రతి సంవత్సరం మారతాయి, మేము కనుగొన్న వాటా గణాంకాలు ఏడాది కంటే పాతవి.
సోషల్ మీడియాలో తిరిగే ఒకే-మూలం ధరల హెచ్చుతగ్గులను విస్మరించండి, ఎందుకంటే వాటిని మేము ధృవీకరించలేకపోయాం. ప్రతి earnings సంఖ్యనూ అనుసరించాల్సిన అవసరం కూడా లేదు. శాశ్వత ఆలోచన ఏమిటంటే, డేటాను కదల్చడం లెక్కించడం అంత సమానంగా AIని పరిమితం చేయగలదు.
ఆచరణాత్మక తదుపరి అడుగు
మీరు వాడే లేదా వాడాలనుకునే ఒక AI మోడల్‌ను ఎంచుకుని మూడు సంఖ్యలు రాయండి: దాని weights పరిమాణం, పొడవైన సంభాషణ ఎంత మెమరీని జోడిస్తుంది, దాన్ని నడిపే చిప్ యొక్క మెమరీ కెపాసిటీ, బ్యాండ్‌విడ్త్. మొదటి రెండు మూడోదానిలో సౌకర్యంగా ఇమడకపోతే, మీ పరిమితి మెమరీ, వేగవంతమైన చిప్ దాన్ని పరిష్కరించదు.
మరింత లోతుగా
- Micron fiscal fourth quarter 2026 press release ఆదాయం, అంచనా, margin కోసం.
- TSMC third quarter 2026 Form 6-K ఆదాయం, నికర ఆదాయం, ప్రక్రియ మిశ్రమం కోసం.
- AMD Instinct MI400 series MI455X మెమరీ గణాంకాల కోసం.
- NVIDIA H100 దాని మెమరీ కెపాసిటీ, బ్యాండ్‌విడ్త్ కోసం.
- Understanding Inference Scaling for LLMs inference మెమరీ వల్ల ఎందుకు పరిమితమవుతుందో తెలుసుకోవడానికి.
- SK hynix 2026 market outlook ఒక మెమరీ తయారీదారు సొంత దృక్కోణం, అది పేర్కొన్న ప్రమాదాలతో సహా.
- TrendForce 4Q26 memory price forecast, via I-Connect007 సాధారణ పరికరాలపై ప్రభావం కోసం.
- JEDEC HBM4 announcement, as republished by Storage Newsletter ప్రమాణం యొక్క ఇంటర్‌ఫేస్ వెడల్పు, వేగం, స్టాక్ పరిమాణాల కోసం.
- TrendForce HBM market bulletin, 16 October 2026 2028 వరకు స్వతంత్ర సరఫరా అంచనా కోసం.
- High Bandwidth Memory on Wikipedia HBM ఎలా నిర్మించబడుతుందో సాధారణ సూచన కోసం.
ఈ వ్యాసంలోని గణాంకాలను 18, 19 October 2026 నాడు తనిఖీ చేశాం. earnings సంఖ్యలు, ధరల అంచనాలు మారుతాయి, కాబట్టి వాటిపై ఆధారపడే ముందు పై మూలాలను చూడండి.