昨晚和儿子聊天,他说训一个27B的小模型至少都要8张H100的卡。而现在模型基本都几百B的参数量了,需要上千张卡。一张卡10万美金。真的太缺算力了。我问大厂呢?他说大厂好一点,有一部分虽然在用华为卡练,可是就像苹果和华为手机,生态不一样,完全不能通用,我们慢下来外面不会慢,以后真的走通了AGI就麻烦了。感觉真是很不乐观,走一步看一步了。
昨晚和儿子聊天,他说训一个27B的小模型至少都要8张H100的卡。而现在模型基本都几百B的参数量了,需要上千张卡。一张卡10万美金。真的太缺算力了。我问大厂呢?他说大厂好一点,有一部分虽然在用华为卡练,可是就像苹果和华为手机,生态不一样,完全不能通用,我们慢下来外面不会慢,以后真的走通了AGI就麻烦了。感觉真是很不乐观,走一步看一步了。