دنیا کی سب سے بڑی چپ۔

مصنوعی ذہانت کو تیز کرنے کی دوڑ میں ، سلیکن ویلی کمپنی سیربراس ایک غیر معمولی حکمت عملی اختیار کر رہی ہے: بڑا ہو جاؤ۔

جبکہ ایک عام کمپیوٹر چپ ایک ناخن کے سائز کا ہوتا ہے ، Cerebras'؛ چپ ایک ڈنر پلیٹ کا سائز ہے۔

ڈیپ لرننگ ، اے آئی ٹیکنالوجی جو صوتی معاونوں ، سیلف ڈرائیونگ کاروں اور گو چیمپئنز کو طاقت دیتی ہے ، پیچیدہ"؛ نیورل نیٹ ورک" پر انحصار کرتی ہے۔ تہوں میں ترتیب دیا گیا سافٹ ویئر۔ ڈیپ لرننگ سسٹم ایک کمپیوٹر پر چل سکتے ہیں ، لیکن سب سے بڑے سسٹم ہزاروں منسلک مشینوں میں پھیلے ہوئے ہیں ، بعض اوقات بڑے ڈیٹا سینٹرز میں ، جیسے گوگل کے ذریعے چلائے جاتے ہیں۔ ایک بڑے کلسٹر میں ، 48 پیزا باکس سائز کے سرورز ایک آدمی کے لمبے ریک میں سلائیڈ کرتے ہیں۔ شیلف قطاروں میں کھڑے ہیں اور ایک عمارت کو گودام کے سائز سے بھرتے ہیں۔ ان نظاموں میں اعصابی نیٹ ورک مشکل مسائل کو حل کرسکتے ہیں ، لیکن انہیں واضح چیلنجوں کا بھی سامنا ہے۔ ایک نیٹ ورک جو ایک جھرمٹ میں پھیلتا ہے دماغ کی طرح ہوتا ہے جو ایک کمرے میں پھیل جاتا ہے اور ایک دوسرے سے جڑا ہوتا ہے۔ الیکٹران تیزی سے آگے بڑھتے ہیں ، لیکن اس کے باوجود ، چپس میں مواصلات سست ہے اور بہت زیادہ توانائی استعمال کرتا ہے۔

سان فرانسسکو وینچر کیپیٹل فرم بینچ مارک کے جنرل پارٹنر ایرک وشریہ کو سب سے پہلے اس مسئلے کا احساس ہوا جب اس نے 2016 کی بہار میں کمپیوٹر چپ کمپنی سیریبراس سسٹمز کی بات سنی۔ بینچ مارک ٹوئٹر جیسی کمپنیوں میں ابتدائی سرمایہ کار ہونے کے لیے جانا جاتا ہے۔ اوبر ، اور ای بے - یعنی سافٹ ویئر میں ، ہارڈ ویئر میں نہیں۔ کمپنی ایک سال میں تقریبا 200 اسٹارٹ اپس کو دیکھتی ہے اور ایک میں سرمایہ کاری کرتی ہے۔"؛ ہم ایک ہزار مینڈکوں کو چومنے کا یہ کھیل کھیل رہے تھے ،"؛ وشریا نے مجھے بتایا۔ اپنی تقریر کے آغاز میں ، اس نے مینڈک کو واپس پھینکنے کا فیصلہ کیا۔" I میں نے سوچا ، میں نے اس سے اتفاق کیوں کیا؟"؛ ہم' hardware ہارڈ ویئر میں سرمایہ کاری نہیں کریں گے ،" he انہوں نے سوچ کو یاد کیا۔" It یہ' s بیوقوف ہے۔"؛

سیربراس کے شریک بانی اینڈریو فیلڈمین نے اپنی ٹیم کی سلائیڈ کو سلائیڈ کور کے ساتھ شروع کیا اور وشریا [جی جی] کی توجہ حاصل کی: ان کی صلاحیتیں متاثر کن تھیں۔ فیلڈمین نے پھر دو قسم کے کمپیوٹر چپس کا موازنہ کیا۔ سب سے پہلے ، اس نے گرافکس پروسیسنگ یونٹس ، یا Gpus - چپس کو دیکھا جو خاص طور پر 3D تصاویر بنانے کے لیے بنائے گئے تھے۔ آج' کا مشین لرننگ سسٹم مختلف وجوہات کی بنا پر ان گرافکس چپس پر انحصار کرتا ہے۔ اس کے بعد ، اس نے سنٹرل پروسیسنگ یونٹس ، یا cpus ، عام مقصد کے چپس کو دیکھا جو عام کمپیوٹر میں زیادہ تر کام کرتے ہیں۔"؛ تیسری سلائیڈ' G Gpus ،' about کے بارے میں تھی جو دراصل گہری سیکھنے کے لیے خراب ہیں - وہ صرف cpus سے سو گنا بہتر ہوتے ہیں۔"؛ سیربراس ایک نئی قسم کی چپ لے کر آیا ہے جو کہ گرافکس کے لیے نہیں بلکہ خاص طور پر مصنوعی ذہانت کے لیے ڈیزائن کیا گیا ہے۔

وشریہ ان کمپنیوں کی پچیں سننے کی عادی ہے جو سائبر سیکیورٹی ، میڈیکل امیجنگ ، چیٹ بوٹس اور دیگر ایپلی کیشنز میں گہری سیکھنے کو استعمال کرنے کا ارادہ رکھتی ہیں۔ Cerebras' کی گفتگو کے بعد ، اس نے بینچ مارک کی مالی اعانت سے چلنے والی کمپنیوں میں انجینئرز کے ساتھ بات کی ، بشمول Zillow ، Uber ، اور Stitch Fix؛ انہوں نے اسے بتایا کہ انہیں AI کے ساتھ پریشانی ہو رہی ہے کیونکہ"؛ train"؛ اعصابی نیٹ ورک گوگل نے انتہائی تیز"؛ ٹینسر پروسیسنگ یونٹس ،"؛ یا Tpus ، مصنوعی ذہانت کے لیے تیار کردہ خصوصی چپس۔ وشریا کو معلوم تھا کہ سونے کا رش چل رہا ہے اور کسی کو چننے اور بیلچے بنانے ہیں۔

اس سال ، بینچ مارک اور فاؤنڈیشن کیپیٹل ، ایک اور وینچر کیپیٹل فرم ، نے سیربراس کے لیے 27 ملین ڈالر کے فنڈنگ ​​کی قیادت کی ، جس نے تقریبا 500 ملین ڈالر اکٹھے کیے۔ دوسری کمپنیاں بھی نام نہاد مصنوعی ذہانت کے ایکسلریٹر بنا رہی ہیں۔ دماغی'؛ حریف گروک ، گرافکور اور سمبانووا نے اپنے درمیان 2 ارب ڈالر سے زائد کا سرمایہ جمع کیا۔ لیکن سیربراس'؛ نقطہ نظر منفرد ہے. سلیکن کے ایک بڑے ٹکڑے پر درجنوں ویفرز پرنٹ کرنے ، ان کو کاٹنے اور ایک دوسرے سے جوڑنے کے بجائے ، کمپنی نے ایک بڑا"؛ ویفر لیول" بنایا ہے۔ چپ اگرچہ ایک عام کمپیوٹر چپ انگلی کے ناخن کا سائز ہے ، سیریبراس ایک ڈنر پلیٹ کے سائز کے بارے میں ہے اور دنیا کا سب سے بڑا کمپیوٹر چپ ہے۔

حریفوں کو بھی یہ کارنامہ متاثر کن لگا۔" This یہ نئی سائنس ہے ،" نائجل ٹون ، گرافکور جی جی #39 کے چیف ایگزیکٹو اور شریک بانی نے مجھے بتایا۔" It یہ' engineering انجینئرنگ کا ایک ناقابل یقین ٹکڑا ہے۔ یہ' sa ایک شاہکار۔"؛ دریں اثنا ، ایک اور انجینئر جس سے میں نے بات کی اسے ایک سائنس پروجیکٹ کے طور پر بیان کیا - بڑی' کی خاطر۔ ماضی میں ، کمپنی نے بڑی چپس بنانے کی کوشش کی اور ناکام رہی؛ دماغی'؛ منصوبہ ایک شرط کے برابر ہے کہ انجینئرنگ کے چیلنجوں پر قابو پانا ممکن ہے اور اس کے قابل ہے۔" honest سچ پوچھیں تو میرے لیے جہالت ایک فائدہ ہے ، وشریا نے کہا۔ GG"؛

یہ سمجھنا آسان ہے کہ کمپیوٹر تیز اور تیز تر ہو رہے ہیں۔ اس کی وضاحت اکثر مور' Law کے قانون کی طرف سے کی جاتی ہے: 1965 میں سیمی کنڈکٹر کے علمبردار گورڈن مور نے قائم کیا تھا ، جس کے مطابق ہر سال یا ہر دو سال بعد ایک چپ پر ٹرانجسٹروں کی تعداد دگنی ہو جاتی ہے۔ یقینا ، مور' کا قانون' نہیں ہے ، اور انجینئر ٹرانزسٹروں کو سکڑانے کے لیے انتھک محنت کرتے ہیں جبکہ"؛ فن تعمیر"؛ ہر چپ کے زیادہ موثر اور طاقتور ڈیزائن بنانے کے لیے۔

چپ کے معماروں نے طویل عرصے سے سوچا ہے کہ کیا ایک سنگل ، بڑے پیمانے پر کمپیوٹر چپ چھوٹی چپس کے ایک گروپ سے زیادہ کارآمد ثابت ہوسکتی ہے ، بالکل اسی طرح جیسے کہ وسائل اور گھنے بلاکس والا شہر مضافاتی علاقے سے زیادہ موثر ہے۔ اس خیال کو پہلی بار 1960 کی دہائی میں آزمایا گیا تھا ، جب ٹیکساس کے آلات نے چند انچ چوڑے چپس کی پیداوار کو محدود کر دیا تھا۔ لیکن کمپنی' کے انجینئرز پیداوار کے مسائل سے دوچار ہوئے۔ کسی بھی سلیکن ویفر پر ، مینوفیکچرنگ کی خرابیاں لامحالہ سرکٹس کی ایک خاص تعداد کو خطرے میں ڈال دیتی ہیں۔ اگر ایک ویفر میں 50 چپس ہوں تو کمپنی برے کو پھینک سکتی ہے اور اچھے کو بیچ سکتی ہے۔ لیکن اگر ہر کامیاب چپ ایک ہی ویفر کی ورکنگ سرکٹری پر انحصار کرتی ہے تو ، بہت سے مہنگے ویفرز کو ضائع کردیا جائے گا۔ ٹیکساس کے آلات نے ایک حل ڈھونڈ لیا ، لیکن ابھی تک ٹیکنالوجی اور ضرورت' نہیں تھی۔

1980 کی دہائی میں ، جین امداہل نامی ایک انجینئر نے ایک ایسی کمپنی کے ساتھ اس مسئلے کو حل کرنے کی دوبارہ کوشش کی جس کو اس نے قائم کیا تھا جسے ٹرائیولوجی سسٹم کہا جاتا ہے۔ یہ تقریبا Sil 250 ملین ڈالر کی فنڈنگ ​​کے ساتھ سلیکن ویلی کی تاریخ کا سب سے بڑا اسٹارٹ اپ بن گیا۔ پیداوار کے مسئلے کو حل کرنے کے لیے ، تریی نے بے کار اجزاء کو چپ پر چھاپا۔ یہ طریقہ پیداوار میں اضافہ کرتا ہے لیکن چپ کی رفتار کو کم کرتا ہے۔ دریں اثنا ، تریی دوسرے طریقوں سے جدوجہد کر رہی ہے۔ امداہل اپنے رولس رائس کے ساتھ ایک موٹرسائیکل سوار پر بھاگ گیا ، جس کی وجہ سے قانونی پریشانی ہوئی۔ اس کا صدر برین ٹیومر سے مر گیا شدید بارشوں نے فیکٹریوں کی تعمیر میں تاخیر ، ایئر کنڈیشننگ سسٹمز کو زنگ لگانا اور چپس پر دھول جمع کرنا۔ 1984 میں ، تریی نے ہار مان لی۔"؛ میں نے' کو نہیں سمجھا کہ یہ کتنا مشکل ہوگا ،"؛ امداہل [جی جی] کے بیٹے نے ٹائمز کو بتایا۔

اگر ٹرالوجی' کی ٹیکنالوجی کامیاب ہے تو اسے اب گہری سیکھنے کے لیے استعمال کیا جا سکتا ہے۔ اس کے بجائے ، Gpus (ویڈیو گیمز میں استعمال ہونے والی چپس) قومی لیبارٹریوں میں سائنسی مسائل حل کر رہے ہیں۔ AI کے لیے gpus کا دوبارہ استعمال اس حقیقت پر منحصر ہے کہ اعصابی نیٹ ورک ، جبکہ بہت پیچیدہ ، بہت زیادہ ضرب اور اضافے پر انحصار کرتے ہیں۔ جب" neur نیوران" نیٹ ورک میں ایک دوسرے کو آگ لگاتے ہیں ، وہ ایک دوسرے کے سگنل کو بڑھا دیتے ہیں یا کم کرتے ہیں ، ان کو ضوابط سے ضرب دیتے ہیں جسے کنکشن ویٹ کہتے ہیں۔ ایک موثر AI پروسیسر متوازی طور پر کئی ایکٹیویشنز کا حساب لگائے گا۔ یہ انہیں نمبروں کی ایک سیریز میں جوڑتا ہے جسے ویکٹر کہتے ہیں ، یا نمبروں کی گرڈ جسے میٹرکس کہتے ہیں ، یا اعلی جہتی بلاکس جنہیں ٹینسر کہتے ہیں۔ مثالی طور پر ، آپ ایک میٹرکس یا ٹینسر کو دوسرے سے ضرب دینا چاہتے ہیں۔ Gpus کو کچھ ایسا ہی کرنے کے لیے ڈیزائن کیا گیا ہے:

& quot؛ سہ رخی کا سایہ بہت بڑا ہے ،"؛ فیلڈمین نے مجھے حال ہی میں بتایا ،" that کہ لوگ سوچنا چھوڑ دیتے ہیں اور کہنا شروع کرتے ہیں ،' It یہ' s ناممکن ہے۔ [جی جی] #39؛"؛ GPU کمپنیاں ، بشمول Nvidia ، گہری سیکھنے کے لیے اپنی چپس کو اپنی مرضی کے مطابق بنانے کے موقع پر کود گئیں۔ 2015 میں ، فیلڈمین اور کمپیوٹر آرکیٹیکٹس کے ایک گروپ نے بڑے چپس کے خیال پر تبادلہ خیال شروع کیا جب انہوں نے کمپیوٹر سرور بنانے والی کمپنی ، سیمیکرو کی مشترکہ بنیاد رکھی ، جسے انہوں نے چپ بنانے والی کمپنی اے ایم ڈی کو 334 ملین ڈالر میں فروخت کیا۔ انہوں نے ایک وینچر کیپیٹل فرم سے ادھار لیے گئے دفتر میں چار ماہ تک اس مسئلے پر کام کیا۔ جب ان کے پاس قابل عمل حل کا خاکہ تھا تو انہوں نے آٹھ کمپنیوں سے بات کی۔ بینچ مارک ، فاؤنڈیشن کیپیٹل ، اور ایکلیپس سے فنڈنگ ​​حاصل کی ، اور نوکری لینا شروع کردی۔

دماغی'؛ پہلا کام مینوفیکچرنگ کے مسائل کو حل کرنا ہے جو بڑے چپس کو پھنساتے ہیں۔ چپ دراصل ایک فٹ قطر کے کرسٹل سلیکن کا ایک بیلناکار انگوٹ تھا ، اور سٹیل کی انگوٹ ایک ملی میٹر سے بھی کم موٹی ویفرز میں کاٹی گئی تھی۔ سرکٹ پھر ہے"؛ طباعت شدہ"؛ ایک عمل کے ذریعے ویفر پر لتھوگرافی۔ یووی حساس کیمیکلز کو احتیاط سے سطح پر جمع کیا جاتا ہے ، اور پھر یووی لائٹ کا ایک بیم ایک تفصیلی ٹیمپلیٹ کے ذریعے پیش کیا جاتا ہے جسے ماسک کہتے ہیں۔ یہ کیمیکل سرکٹس بنانے پر رد عمل ظاہر کرتے ہیں۔

عام طور پر ، ماسک کے ذریعے روشنی سے ڈھکا ہوا علاقہ چپ بن جاتا ہے۔ پھر چپ حرکت کرتی ہے اور روشنی دوبارہ پیش کی جاتی ہے۔ درجنوں یا سیکڑوں چپس پرنٹ ہونے کے بعد ، وہ ویفر سے لیزر کٹ جاتے ہیں۔" do ایسا کرنے کا سب سے آسان طریقہ یہ ہے کہ آپ کی ماں ایک گول کوکی آٹا نکالے ،" فیلڈمین نے کہا۔&& quot؛ طبیعیات اور آپٹکس کے قوانین ایک بڑا کوکی کٹر بنانا ناممکن بنا دیتے ہیں۔ اس کے نتیجے میں ،" we ہم نے ایک ٹیکنالوجی تیار کی تاکہ آپ دو کوکیز کے درمیان تھوڑے سے آٹے کے ذریعے بات چیت کر سکیں۔"؛

ٹی ایس ایم سی کے تعاون سے تیار کردہ پرنٹنگ سسٹم سیربراس میں ، وہ کمپنی جو چپ بناتی ہے ، کوکیز کے کنارے اوورلیپ ہوجاتے ہیں تاکہ ان کے تار جڑے ہوئے ہوں۔ نتیجہ ایک سنگل" w ویفر سائز" ہے۔ ویفر ، تانبے کے رنگ کا مربع اور ہر طرف 21 سینٹی میٹر۔ (سب سے بڑا جی پی ایس قطر میں 3 سینٹی میٹر سے تھوڑا کم ہے۔) سیربراس نے اپنی پہلی چپ ، ویفر اسکیل انجن 1 ، 2019 میں تیار کیا۔ اس سال متعارف کرایا گیا ڈبلیو ایس ای 2 ، ڈینسر سرکٹ کا استعمال کرتا ہے ، جس میں 2.6 ٹریلین ٹرانجسٹر 850،000 پروسیسنگ یونٹوں میں پیک کیے گئے ہیں۔ ، یا" c cores". (ٹاپ Gpus میں صرف چند ہزار کور ہوتے ہیں ، جبکہ زیادہ تر cpus میں 10 سے کم ہوتے ہیں۔)

& quot؛ 2.6 ٹریلین ٹرانجسٹر حیران کن ہیں ،" آرٹ ڈی جیوس ، Synopsys کے چیئرمین اور شریک سی ای او نے کہا۔ Synopsys کچھ سافٹ وئیر مہیا کرتا ہے جسے Cerebras اور دیگر چپ بنانے والے اپنے چپ ڈیزائن بنانے اور درست کرنے کے لیے استعمال کرتے ہیں۔ ڈی جیوس کا کہنا ہے کہ چپس ڈیزائن کرتے وقت ، انجینئرز کو پہلے دو بنیادی سوالات پر غور کرنا پڑتا ہے:" the ڈیٹا کہاں سے آتا ہے؟"؛ اسے کہاں سنبھالا جاتا ہے؟"؛ جب چپس آسان ہوتی تھیں ، ڈیزائنرز ان سوالات کا جواب پینسل سے ڈرائنگ ٹیبل پر دے سکتے تھے۔ آج کے زیادہ پیچیدہ چپس کے ساتھ کام کرتے وقت ، کوڈ درج کریں جو اس فن تعمیر کو بیان کرتا ہے جسے وہ بنانا چاہتے ہیں ، پھر تصور اور کوڈنگ ٹولز پر جائیں۔"؛ اس کے بارے میں سوچیں کہ گھر چھت سے کیسا لگتا ہے ،"؛ ڈی جیوس نے کہا۔" Is کیا گیراج کچن کے قریب ہے؟ یا یہ بیڈروم کے قریب ہے؟ آپ اسے باورچی خانے کے قریب چاہتے ہیں - ورنہ ، آپ کو' l گھر کے ہر کونے سے گروسری لے جانا پڑے گا۔"؛ فلور پلان کو ڈیزائن کرنے کے بعد ، اس نے وضاحت کی ،" you آپ مساوات کو استعمال کر کے بیان کر سکتے ہیں کہ کمرے میں کیا ہو رہا ہے۔"؛

چپس کی ڈیزائن پیچیدگی ذہنی پریشانی کا باعث ہے۔"؛ یہاں بہت سی پرتیں ہیں ،"؛ ڈی جیوس نے کہا ، سرکٹس ایک دوسرے کے اوپر کراس کراس اور پرتوں کے ساتھ ، جیسے ایک اہم شاہراہ اوور پاس۔ سیربراس انجینئرز کے لیے ، ایک ویفر کے پیمانے پر کام کرتے ہوئے ، پیچیدگی بڑھ جاتی ہے۔ Synopsys'؛ سافٹ ویئر مصنوعی ذہانت کی شکل میں مدد کرتا ہے: پیٹرن سے ملنے والے الگورتھم عام مسائل کی نشاندہی کرتے ہیں اور حل تجویز کرتے ہیں۔ آپٹیمائزر پروگرام کمرے کو تیز ، زیادہ موثر انتظام کی طرف لے جاتا ہے۔ اگر بہت سی گلیاں دو بلاک والی عمارت میں گھسنے کی کوشش کرتی ہیں تو سافٹ وئیر انجینئرز کو رابرٹ موسیٰ کھیلنے اور بلاک کو منتقل کرنے کی اجازت دیتا ہے۔

آخر میں ، فیلڈمین کہتے ہیں ، بڑے سائز کے ڈیزائنوں کے کئی فوائد ہیں۔ جب کور ایک ہی چپ پر ہوتے ہیں ، تو وہ تیزی سے بات چیت کرتے ہیں: کمپیوٹر' کا دماغ اب ایک ہی کھوپڑی میں مرکوز ہے ، بجائے اس کے کہ ایک کمرے میں بکھر جائے۔ بڑی چپس میموری کو بھی بہتر طریقے سے سنبھالتی ہیں۔ عام طور پر ، ایک چھوٹی سی چپ جو فائل پر کارروائی کرنے کے لیے تیار ہوتی ہے اسے پہلے سرکٹ بورڈ پر کسی اور جگہ پر مشترکہ میموری چپ سے فائل حاصل کرنی چاہیے۔ صرف سب سے زیادہ استعمال ہونے والا ڈیٹا گھر کے قریب محفوظ کیا جاتا ہے۔ ویفر لیول چپس کی کارکردگی کو بیان کرتے ہوئے ، فیلڈمین نے ایک تشبیہ پیش کی: اس نے مجھ سے کہا کہ روم میٹ (کور) کے ایک گروپ کا تصور کریں جو ایک چھاترالی (چپ) میں رہتا ہے جو فٹ بال کا کھیل دیکھنا چاہتا ہے (کمپیوٹنگ کا کام کرنا)۔ کھیل دیکھنے کے لیے ، فیلڈمین کا کہنا ہے کہ ، کمرے کے ساتھیوں کو ریفریجریٹر میں بیئر ذخیرہ کرنے کی ضرورت ہوتی ہے (ڈیٹا میموری میں محفوظ ہوتا ہے) سیربراس ہر کمرے میں ایک ریفریجریٹر رکھتا ہے تاکہ روم میٹس کو' کو چھاترالی' کے اجتماعی باورچی خانے یا سیف وے پر جانے کا خطرہ نہ ہو۔ اس کا اضافی فائدہ ہے کہ ہر کور کو مختلف ڈیٹا پر زیادہ تیزی سے کارروائی کرنے کی اجازت دی جائے۔" So تو میں اپنے چھاترالی کمرے میں بڈ رکھ سکتا ہوں ،" فیلڈمین نے کہا۔" your اپنے چھاترالی میں ، آپ Schlitz کر سکتے ہیں۔"؛

آخر میں ، سیربرا کو پیداوار کے مسائل پر قابو پانا ہوگا۔ کمپنی' کے انجینئرز Trilogy' کی چال استعمال کرتے ہیں: فالتو پن۔ لیکن یہاں انہیں اپنے پیشرووں پر ایک برتری حاصل ہے۔ تریی بہت سے مختلف اجزاء کے ساتھ عام چپس بنانے کی کوشش کرتی ہے ، لہذا کسی ایک ناکام جزو کے ارد گرد وائرنگ کے لئے دور دراز کے متبادل سے منسلک ہونے کی ضرورت پڑسکتی ہے۔ Cerebras پر'؛ چپ ، تمام کور ایک جیسے ہیں۔ اگر ایک بسکٹ غلط ہے تو ، اس کے آس پاس والے بھی اتنے ہی اچھے ہیں۔