一次生产事故中,LLM推理服务的TTFT出现诡异波动,部分请求延迟飙升至2000ms+,随后宿主机节点接连"暴毙",kill -9也无法挽救卡死的Pod。
排查过程一波三折:从怀疑机器故障,到发现CUDA异常,最终揪出了一个潜伏在集群中的"GPU小偷"——以及它与K8s扩缩容机制碰撞后引发的致命死锁。
一次生产事故中,LLM推理服务的TTFT出现诡异波动,部分请求延迟飙升至2000ms+,随后宿主机节点接连"暴毙",kill -9也无法挽救卡死的Pod。
排查过程一波三折:从怀疑机器故障,到发现CUDA异常,最终揪出了一个潜伏在集群中的"GPU小偷"——以及它与K8s扩缩容机制碰撞后引发的致命死锁。
人们总说人生的分界线是18岁,一旦迈过了18岁,你的人生节奏就开始疯狂加速,一周一个月的时间眨一眼就过去了。时常回顾过去,发现我最喜欢发呆的地方除了从前司低价买来的办公椅,就是跑完步歇着吃苹果的路边小凳子。每日的重复让我的精神感知变得很差,也就是互联网上常说的钝感力。
就这样,又是一年过去了。重回职场、尝试创业、继续单身,每一件事都兴致勃勃地开始,又在现实面前碰得头破血流。但或许失败本身,也是这一年最珍贵的收获。
喝着啤酒的我开始回顾我的2024,似乎失败总是伴随着我一年又一年,心中的莫名空虚始终无法挥之而去,莫名其妙而又习以为常。
我老师一直跟我说:「你不缺朋友,只是缺个女朋友」,可是我的心情波动似乎也没有因为跟前妻姐交往过程中变得平和,可能也是她常跟我说「你根本不懂恋爱」般,我也搞不懂我自己,搞不懂自己的动机,搞不懂自己的行为,也搞不懂自己的心情。
辗转反侧多年,今天我似乎并不怎么在意了,莫名的习得平和不能说让我变好的,也可以说我变得冷淡了。「无所谓啦」也尝尝挂在了自己的嘴上,与其在意莫名其妙的情绪,不如安安静静的看一会书、听一会歌,然后睡个好觉。
鲁迅说过,我的技术栈里面有两个前端框架,一个是 shadcn/ui,另一个也是shadcn/ui。
这篇文章我们就来讨论一下周树人为什么要暴打鲁迅
因为一些众所周知的原因,国内的大部分银行都无法通过API的方式访问到个人账户下的账单,同时因为支付宝与微信的普及,银行系统里面通常记录的交易信息也是不完整的,以至于在中国环境下实现自动化记账是一件很麻烦的事情。经过多次更改后,我的记账模式已经做到了相当高的自动化,于是便有了这篇文章,记录并分享一下我是如何进行自动化记账的。
4月29号,朋友问我五一去哪里玩,我想都没想就说了哪都不去。事实上也是这样,并没有任何出游的计划,但是回头仔细想想五一假期那么长,没理由那么多天都在家里吧。于是就挑了一个短程旅行,目标地点就是东澳岛。
每一年的自我审视,不仅仅是写给别人看,更是对这一年的自我评价。活得糟糕与否并不是总结的意义,而是来年避免重蹈覆辙,越过越好才是本意。我也无意跟其他人对比,每个人都有自己的生活轨迹,强行匹配他人的轨迹不见得活得更加美好。
从很早开始只有联通在B站上面发舞蹈区视频,但是只能说是平平无奇并没有引起太大的波浪,基本只有10多20几万的播放量,基本上很少能登上分区的排行版,直到中信银行在2020年6月发出了书记舞一下子就打开了这个潘多拉魔盒,成功出圈,也能在他的视频上面看到无数的「感谢联通」弹幕。
恭喜自己,这是第一次生产事故,也是第一个 T0 事故
规范化自己服务器的事故级别:
有一种思念叫你家的狗子在想你