I Have Covered All the Bases Here: Interpreting Reasoning Features in Large Language Models via Sparse Autoencoders
therem
Abstract
Large Language Models (LLMs) have achieved remarkable success in natural language processing. Recent advances have led to the developing of a new class of reasoning LLMs; for example, open-source DeepSeek-R1 has achieved state-of-the-art performance by integrating deep thinking and complex reasoning. Despite these impressive capabilities, the internal reasoning mechanisms of such models remain unexplored. In this work, we employ Sparse Autoencoders (SAEs), a method to learn a sparse decomposition of latent representations of a neural network into interpretable features, to identify features that drive reasoning in the DeepSeek-R1 series of models. First, we propose an approach to extract candidate ''reasoning features'' from SAE representations. We validate these features through empirical analysis and interpretability methods, demonstrating their direct correlation with the model's reasoning abilities. Crucially, we demonstrate that steering these features systematically enhances reasoning performance, offering the first mechanistic account of reasoning in LLMs. Code available at https://github.com/AIRI-Institute/SAE-Reasoning
Community
In this work, we try to uncover how reasoning works in LLMs. We focused on DeepSeek-R1 series of models, and applied Sparse Autoencoders (SAEs) to identify interpretable features within them. We developed a method to detect reasoning-relevant features and validated them through empirical analysis and feature steering.
Our experiments showed that amplifying these features may enhance the model's reasoning capabilities, both qualitatively and across reasoning benchmarks.
Ultimately, we provide the first mechanistic evidence linking specific features in LLMs to reasoning behavior like reflection, uncertainty handling, and step-by-step problem-solving.
برای حفظ سلامت کبد و کلیه ها از طریق رژیم غذایی و سبک زندگی، راهکارهای زیر را در نظر بگیرید:
استراتژی های غذایی
برای سلامت کبد:
- یک رژیم غذایی متعادل داشته باشید: روی غلات کامل، میوه ها، سبزیجات و پروتئین های بدون چربی تمرکز کنید. از غذاهای فرآوری شده و غذاهای سرشار از قند تصفیه شده و چربی های ناسالم خودداری کنید.
- مصرف چربی را کاهش دهید: گوشت قرمز، کره، پنیر و بستنی را محدود کنید. پروتئین های بدون چربی مانند مرغ، بوقلمون، ماهی و توفو را انتخاب کنید.
- شامل چربی های سالم: از منابع چربی های سالم مانند روغن زیتون، آجیل و آووکادو استفاده کنید.
- هیدراته بمانید: برای کمک به عملکرد موثر کبد، مقدار زیادی آب بنوشید.
- غذاهای غنی از آنتی اکسیدان مصرف کنید: غذاهایی مانند انواع توت ها، سبزیجات برگ دار و مرکبات با ارائه آنتی اکسیدان های ضروری از سلامت کبد حمایت می کنند.
- محدود کردن الکل: مصرف الکل را به حداقل برسانید تا از آسیب کبدی جلوگیری کنید.
برای سلامت کلیه:
- کنترل مصرف پروتئین: در حالی که پروتئین ضروری است، مصرف بیش از حد آن می تواند کلیه ها را بیش از حد تحت فشار قرار دهد. مقادیر متوسطی از پروتئین های بدون چربی مانند ماهی، مرغ و پروتئین های گیاهی را انتخاب کنید.
- کاهش سدیم: برای کمک به مدیریت فشار خون و کاهش فشار روی کلیه ها، مصرف نمک را محدود کنید.
- هیدراته بمانید: هیدراتاسیون مناسب برای عملکرد کلیه بسیار مهم است. سعی کنید در طول روز آب کافی بنوشید.
- غذاهای غنی از پتاسیم بخورید: در مراحل اولیه بیماری کلیوی، پتاسیم می تواند مفید باشد. از غذاهایی مانند سیب و انواع توت ها که پتاسیم کمی دارند استفاده کنید.
- از غذاهای مضر پرهیز کنید: از غذاهایی که می توانند بر سلامت کلیه تأثیر منفی بگذارند مانند گوشت قرمز، گوشت های فرآوری شده و غذاهای پر سدیم دوری کنید.
- غذاهای مناسب کلیه را بگنجانید: غذاهایی مانند سبزیجات برگ دار، انواع توت ها، گل کلم، ماهی، سیر، روغن زیتون و فلفل دلمه ای قرمز را در رژیم غذایی خود بگنجانید.
استراتژی های سبک زندگی
- حفظ وزن سالم: اضافه وزن می تواند خطر ابتلا به بیماری کبد چرب را افزایش دهد و فشار بیشتری بر کلیه های شما وارد کند.
- به طور منظم ورزش کنید: فعالیت بدنی به حفظ وزن سالم کمک می کند و از عملکرد کلی اندام ها پشتیبانی می کند. نشان داده شده است که تمرینات تناوبی با شدت بالا (HIIT) سلامت کبد را بهبود می بخشد.
- ترک سیگار: سیگار کشیدن می تواند مشکلات کلیوی و کبدی را تشدید کند، بنابراین ترک برای سلامت کلی مفید است.
- سطوح قند خون را مدیریت کنید: کنترل سطح قند خون برای جلوگیری از آسیب کلیوی بسیار مهم است، به خصوص اگر دیابت دارید.
- معاینات منظم: معاینات پزشکی منظم می تواند به نظارت بر سلامت کبد و کلیه شما کمک کند و هر گونه مشکلی را در مراحل اولیه تشخیص دهد.
با پیروی از این استراتژی‌های رژیم غذایی و سبک زندگی، می‌توانید از سلامت کبد و کلیه‌های خود حمایت کنید و از عملکرد بهینه آن‌ها برای سال‌های آینده اطمینان حاصل کنید.
Models citing this paper 0
No model linking this paper
Datasets citing this paper 0
No dataset linking this paper
Spaces citing this paper 0
No Space linking this paper