File size: 18,385 Bytes
d06642a
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
78643d4
dee52bf
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
3b07c77
e7c6b01
 
3b07c77
dee52bf
e7c6b01
dee52bf
 
 
 
 
 
 
 
 
 
e7c6b01
 
dee52bf
 
 
 
 
 
 
 
 
 
 
 
 
2bb8cd3
dee52bf
2bb8cd3
dee52bf
2bb8cd3
dee52bf
 
 
 
 
 
 
 
 
 
2bb8cd3
e141b12
2bb8cd3
 
dee52bf
 
 
 
 
 
 
78643d4
dee52bf
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
7472dea
dee52bf
 
7472dea
dee52bf
2bb8cd3
dee52bf
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
---
license: mit
language:
- en
- tr
tags:
- epistemology
- knowledge-base
- information-extraction
- bias-detection
- confidence-scoring
- nlp
- spacy
datasets:
- text
---
# Automated Epistemology Engine (AEE) - Era Version

![AEE Era Logo](https://img.shields.io/badge/AEE-Era%20Version-blue?style=for-the-badge)
![Status](https://img.shields.io/badge/Status-Production%20Ready-success?style=for-the-badge)
![License](https://img.shields.io/badge/License-MIT-green?style=for-the-badge)

## 🔍 Model Description

**The Automated Epistemology Engine (AEE) Era** is a groundbreaking, first-of-its-kind epistemological processing system designed to revolutionize how we extract, evaluate, and integrate information from diverse textual sources. **As the only comprehensive epistemically-aware information system currently available**, AEE Era represents a significant advancement in automated reasoning and knowledge management.

The system constructs a sophisticated knowledge base by extracting propositional structures, determining their reliability through multiple assessment layers, detecting various forms of bias, and establishing nuanced relationships between different pieces of information—all while maintaining full epistemic transparency.

### 🌟 Key Features

- **🧠 Epistemically Aware Information Extraction**: Extracts subject-relation-value propositions from text with confidence scores calibrated to linguistic modality markers (e.g., "definitely," "might," "perhaps")
  
- **⚖️ Plausibility Assessment**: Evaluates how reasonable propositions are based on built-in validation heuristics and world knowledge patterns
  
- **🔗 Comprehensive Relation Detection**: Identifies not only direct contradictions but also conceptual opposites, synonym-based support, and relational conflicts
  
- **📊 Multi-factor Source Reliability Calculation**: Dynamically assesses the reliability of information sources based on contradiction patterns and consistency
  
- **🚩 Advanced Bias Detection**: Flags potential biases including source monoculture (lack of source diversity), unbalanced arguments, and citation circles
  
- **⭕ Circular Reasoning Detection**: Identifies and penalizes circular support patterns in the knowledge base
  
- **📈 Sophisticated Confidence Scoring**: Calculates dynamic confidence scores using an integrated model that accounts for source reliability, plausibility, linguistic certainty, supporting evidence, contradicting evidence, and bias penalties
  
- **📝 Human-readable Explanations**: Generates clear, detailed explanations of the epistemological status of each proposition in the knowledge base

## 🚀 Why AEE Era is Revolutionary

As the **first and only system of its kind**, AEE Era stands alone in offering:

1. **Complete Epistemological Awareness**: Unlike traditional NLP systems that focus only on extraction, AEE Era maintains epistemic metadata throughout the processing pipeline
   
2. **Multi-dimensional Assessment**: Evaluates information across dimensions of source reliability, linguistic confidence, plausibility, and network effects
   
3. **Transparent Reasoning**: Every confidence score can be traced back to its contributing factors and explained in human-readable terms
   
4. **Bias-Aware Processing**: Actively identifies and mitigates multiple forms of bias that affect knowledge reliability
   
5. **Integration of Contradictory Information**: Rather than discarding contradictions, incorporates them into a coherent knowledge framework with appropriate confidence adjustments

## 💡 Intended Uses

AEE Era is designed for applications requiring sophisticated epistemological assessment of information:

- **🔍 Advanced Fact-Checking Systems**: Assess reliability of claims across multiple sources with nuanced confidence scoring
  
- **🔄 Intelligent Information Integration**: Combine information from diverse sources with appropriate confidence weighting and contradiction resolution
  
- **📚 Research Analysis Tools**: Analyze the epistemological structure of complex arguments and research literature
  
- **⭐ Source Credibility Assessment**: Evaluate the reliability of different information sources based on their consistency and agreement patterns
  
- **👁️ Bias Detection and Mitigation**: Identify potential biases in knowledge bases, citation networks, or information ecosystems
  
- **❓ Uncertainty-Aware Knowledge Bases**: Build knowledge bases that explicitly represent certainty levels and evidential relationships

## 🛠️ Implementation Details

The AEE Era system consists of these elegantly designed components:

1. **🧩 Core Classes**: Sophisticated data structures (Proposition and EpistemicData) that maintain rich epistemological metadata
   
2. **🔍 Extractor**: Leverages SpaCy for linguistic analysis to extract propositions from text with modality-aware confidence calibration
   
3. **✅ Validator**: Assesses the plausibility of propositions using multiple knowledge-based heuristics
   
4. **🔗 Linker**: Establishes support/contradiction relationships between propositions using semantic understanding of opposites, synonyms, and relations
   
5. **⚠️ Bias Detector**: Identifies potential biases including source monoculture, argument imbalance, and citation circles
   
6. **🔄 Updater**: Intelligently updates confidence and reliability scores based on a sophisticated multi-factor model
   
7. **📋 Explainer**: Generates detailed, human-readable explanations of proposition status and confidence

## 📥 Inputs and Outputs

### Inputs:
- Text documents with source identifiers
- Optional source type information

### Outputs:
- A structured knowledge base of propositions with:
  - Extracted structural representation (subject-relation-value)
  - Comprehensive epistemological metadata (confidence, reliability, plausibility)
  - Rich inter-proposition relationship network (support/contradiction links)
  - Bias and quality flags
  - Detailed human-readable explanations for each proposition

## 📊 Performance Highlights

AEE Era has demonstrated exceptional capabilities in:

- **Linguistic Modality Recognition**: Accurately calibrates initial confidence based on certainty expressions
- **Contradiction Detection**: Successfully identifies both direct and semantic contradictions
- **Bias Identification**: Effectively flags sources with systematic issues and circular reasoning patterns
- **Confidence Refinement**: Produces well-calibrated final confidence scores that reflect multiple evidence factors

## 📦 Installation and Usage

```bash
# Install required packages
pip install spacy
python -m spacy download en_core_web_sm

# Clone the repository
git clone https://github.com/yourusername/aee-era.git
cd aee-era

# Run the main pipeline
python aee_era_main.py
```

## 💻 Example Usage

```python
from aee_era_main import run_aee_era_pipeline

# Define input texts with source information
inputs = [
    {
        "source_id": "research_paper.edu",
        "source_type": "scientific_paper",
        "text": "Studies demonstrate that regular exercise significantly reduces the risk of cardiovascular disease."
    },
    {
        "source_id": "health_blog.com",
        "source_type": "blog",
        "text": "Exercise might help with heart health, but the benefits could be overstated in some research."
    }
]

# Run the pipeline
knowledge_base = run_aee_era_pipeline(inputs)

# Print the resulting knowledge base and explanations
for prop_id, prop in knowledge_base.items():
    print(f"Proposition: {prop.text_span}")
    print(f"Subject-Relation-Value: {prop.subject_lemma}-{prop.relation_lemma}-{prop.value_lemma}")
    print(f"Initial Confidence: {prop.epistemic_data.initial_confidence}")
    print(f"Final Confidence: {prop.epistemic_data.computed_confidence}")
    print(f"Plausibility: {prop.epistemic_data.plausibility_score}")
    print(f"Bias Flags: {prop.epistemic_data.bias_flags}")
    print("---")
```

## 🔧 Customization Options

AEE Era can be customized in several ways:

- **Plausibility Knowledge**: Extend the validator with domain-specific plausibility rules
- **Synonym and Opposite Dictionaries**: Expand the built-in dictionaries for better relation detection
- **Confidence Parameters**: Adjust the weights of different factors in confidence calculation
- **Source Reliability Thresholds**: Customize how source reliability is assessed

## 📋 Citation

If you use AEE Era in your research, please cite:

```
@software{aee_era_2025,
  author = {Abdullah Kocaman},
  title = {Automated Epistemology Engine (AEE) - Era Version: A Novel Framework for Epistemically-Aware Information Processing},
  year = {2025},
  url = {https://huggingface.co/yourusername/aee-era},
  description = {The first comprehensive system for epistemically-aware information extraction, evaluation, and integration}
}
```

---

# Otomatik Epistemoloji Motoru (AEE) - Era Sürümü

![AEE Era Logo](https://img.shields.io/badge/AEE-Era%20S%C3%BCr%C3%BCm%C3%BC-blue?style=for-the-badge)
![Durum](https://img.shields.io/badge/Durum-Kullan%C4%B1ma%20Haz%C4%B1r-success?style=for-the-badge)
![Lisans](https://img.shields.io/badge/Lisans-MIT-green?style=for-the-badge)

## 🔍 Model Açıklaması

**Otomatik Epistemoloji Motoru (AEE) Era**, çeşitli metin kaynaklarından bilgileri çıkarma, değerlendirme ve entegre etme şeklimizi devrimselleştirmek için tasarlanmış, türünün ilk örneği olan çığır açıcı bir epistemolojik işleme sistemidir. **Şu anda mevcut olan tek kapsamlı epistemik farkındalığa sahip bilgi sistemi olarak**, AEE Era, otomatik akıl yürütme ve bilgi yönetiminde önemli bir ilerlemeyi temsil eder.

Sistem, önerme yapılarını çıkararak, bunların güvenilirliğini çoklu değerlendirme katmanları aracılığıyla belirleyerek, çeşitli yanlılık biçimlerini tespit ederek ve farklı bilgi parçaları arasında nüanslı ilişkiler kurarak—tüm bunları tam epistemik şeffaflık içinde sürdürerek—sofistike bir bilgi tabanı oluşturur.

### 🌟 Temel Özellikler

- **🧠 Epistemik Farkındalığa Sahip Bilgi Çıkarımı**: Dilbilimsel kiplik belirteçlerine (örn. "kesinlikle," "belki," "muhtemelen") göre kalibre edilmiş güven skorlarıyla metinden özne-ilişki-değer önermelerini çıkarır
  
- **⚖️ Makullük Değerlendirmesi**: Önermelerin ne kadar makul olduğunu yerleşik doğrulama sezgileri ve dünya bilgisi kalıplarına dayanarak değerlendirir
  
- **🔗 Kapsamlı İlişki Tespiti**: Sadece doğrudan çelişkileri değil, aynı zamanda kavramsal zıtlıkları, eş anlamlılara dayalı desteği ve ilişkisel çatışmaları da tespit eder
  
- **📊 Çok Faktörlü Kaynak Güvenilirliği Hesaplaması**: Çelişki kalıpları ve tutarlılığa dayalı olarak bilgi kaynaklarının güvenilirliğini dinamik olarak değerlendirir
  
- **🚩 Gelişmiş Yanlılık Tespiti**: Kaynak tekelciliği (kaynak çeşitliliği eksikliği), dengesiz argümanlar ve alıntı çemberleri dahil potansiyel yanlılıkları işaretler
  
- **⭕ Döngüsel Akıl Yürütme Tespiti**: Bilgi tabanındaki döngüsel destek kalıplarını tespit eder ve cezalandırır
  
- **📈 Sofistike Güven Skorlaması**: Kaynak güvenilirliği, makullük, dilbilimsel kesinlik, destekleyici kanıt, çelişen kanıt ve yanlılık cezalarını hesaba katan entegre bir model kullanarak dinamik güven skorları hesaplar
  
- **📝 İnsan Tarafından Okunabilir Açıklamalar**: Bilgi tabanındaki her önermenin epistemolojik durumu hakkında net, ayrıntılı açıklamalar üretir

## 🚀 AEE Era Neden Devrim Niteliğinde

**Türünün ilk ve tek sistemi olarak**, AEE Era şunları sunmada benzersizdir:

1. **Tam Epistemolojik Farkındalık**: Sadece çıkarıma odaklanan geleneksel NLP sistemlerinin aksine, AEE Era işleme hattı boyunca epistemik meta verileri korur
   
2. **Çok Boyutlu Değerlendirme**: Bilgiyi kaynak güvenilirliği, dilbilimsel güven, makullük ve ağ etkileri boyutları açısından değerlendirir
   
3. **Şeffaf Akıl Yürütme**: Her güven skoru, katkıda bulunan faktörlerine kadar izlenebilir ve insan tarafından okunabilir terimlerle açıklanabilir
   
4. **Yanlılık Farkında İşleme**: Bilgi güvenilirliğini etkileyen birden çok yanlılık biçimini aktif olarak tanımlar ve azaltır
   
5. **Çelişkili Bilgilerin Entegrasyonu**: Çelişkileri atmak yerine, onları uygun güven ayarlamalarıyla tutarlı bir bilgi çerçevesine dahil eder

## 💡 Kullanım Alanları

AEE Era, sofistike epistemolojik bilgi değerlendirmesi gerektiren uygulamalar için tasarlanmıştır:

- **🔍 Gelişmiş Doğrulama Sistemleri**: Nüanslı güven skorlaması ile birden çok kaynakta iddiaların güvenilirliğini değerlendirme
  
- **🔄 Akıllı Bilgi Entegrasyonu**: Çeşitli kaynaklardan gelen bilgileri uygun güven ağırlıklandırması ve çelişki çözümü ile birleştirme
  
- **📚 Araştırma Analiz Araçları**: Karmaşık argümanların ve araştırma literatürünün epistemolojik yapısını analiz etme
  
- **⭐ Kaynak Güvenilirliği Değerlendirmesi**: Farklı bilgi kaynaklarının tutarlılık ve anlaşma kalıplarına dayalı olarak güvenilirliğini değerlendirme
  
- **👁️ Yanlılık Tespiti ve Azaltma**: Bilgi tabanlarında, alıntı ağlarında veya bilgi ekosistemlerinde potansiyel yanlılıkları tespit etme
  
- **❓ Belirsizlik Farkında Bilgi Tabanları**: Kesinlik düzeylerini ve kanıtsal ilişkileri açıkça temsil eden bilgi tabanları oluşturma

## 🛠️ Uygulama Detayları

AEE Era sistemi, şu zarif şekilde tasarlanmış bileşenlerden oluşur:

1. **🧩 Çekirdek Sınıflar**: Zengin epistemolojik meta verileri koruyan sofistike veri yapıları (Proposition ve EpistemicData)
   
2. **🔍 Çıkarıcı**: Kiplik farkında güven kalibrasyonu ile metinden önermeleri çıkarmak için SpaCy'den yararlanır
   
3. **✅ Doğrulayıcı**: Önermelerin makullüğünü birden çok bilgi tabanlı sezgisel yöntem kullanarak değerlendirir
   
4. **🔗 Bağlayıcı**: Zıtlıkların, eş anlamlıların ve ilişkilerin semantik anlayışını kullanarak önermeler arasında destek/çelişki ilişkileri kurar
   
5. **⚠️ Yanlılık Algılayıcı**: Kaynak tekelciliği, argüman dengesizliği ve alıntı çemberleri dahil potansiyel yanlılıkları tespit eder
   
6. **🔄 Güncelleyici**: Sofistike bir çok faktörlü model temelinde güven ve güvenilirlik skorlarını akıllıca günceller
   
7. **📋 Açıklayıcı**: Önerme durumu ve güveni hakkında ayrıntılı, insan tarafından okunabilir açıklamalar üretir

## 📥 Girdiler ve Çıktılar

### Girdiler:
- Kaynak tanımlayıcıları ile metin belgeleri
- İsteğe bağlı kaynak türü bilgisi

### Çıktılar:
- Aşağıdakileri içeren yapılandırılmış bir önerme bilgi tabanı:
  - Çıkarılmış yapısal gösterim (özne-ilişki-değer)
  - Kapsamlı epistemolojik meta veriler (güven, güvenilirlik, makullük)
  - Zengin önermeler arası ilişki ağı (destek/çelişki bağlantıları)
  - Yanlılık ve kalite işaretleri
  - Her önerme için ayrıntılı insan tarafından okunabilir açıklamalar

## 📊 Performans Öne Çıkanları

AEE Era şu alanlarda olağanüstü yetenekler göstermiştir:

- **Dilbilimsel Kiplik Tanıma**: Kesinlik ifadelerine dayalı olarak başlangıç güvenini doğru şekilde kalibre eder
- **Çelişki Tespiti**: Hem doğrudan hem de semantik çelişkileri başarıyla tespit eder
- **Yanlılık Tanımlama**: Sistematik sorunları olan kaynakları ve döngüsel akıl yürütme kalıplarını etkili bir şekilde işaretler
- **Güven İyileştirme**: Birden çok kanıt faktörünü yansıtan iyi kalibre edilmiş nihai güven skorları üretir

## 📦 Kurulum ve Kullanım

```bash
# Gerekli paketleri yükleyin
pip install spacy
python -m spacy download en_core_web_sm

# Depoyu klonlayın
git clone https://github.com/kullaniciadi/aee-era.git
cd aee-era

# Ana işlem hattını çalıştırın
python aee_era_main.py
```

## 💻 Örnek Kullanım

```python
from aee_era_main import run_aee_era_pipeline

# Kaynak bilgisi ile giriş metinlerini tanımlayın
inputs = [
    {
        "source_id": "research_paper.edu",
        "source_type": "scientific_paper",
        "text": "Araştırmalar, düzenli egzersizin kardiyovasküler hastalık riskini önemli ölçüde azalttığını göstermektedir."
    },
    {
        "source_id": "health_blog.com",
        "source_type": "blog",
        "text": "Egzersiz kalp sağlığına yardımcı olabilir, ancak faydaları bazı araştırmalarda abartılmış olabilir."
    }
]

# İşlem hattını çalıştırın
knowledge_base = run_aee_era_pipeline(inputs)

# Oluşan bilgi tabanını ve açıklamaları yazdırın
for prop_id, prop in knowledge_base.items():
    print(f"Önerme: {prop.text_span}")
    print(f"Özne-İlişki-Değer: {prop.subject_lemma}-{prop.relation_lemma}-{prop.value_lemma}")
    print(f"Başlangıç Güveni: {prop.epistemic_data.initial_confidence}")
    print(f"Nihai Güven: {prop.epistemic_data.computed_confidence}")
    print(f"Makullük: {prop.epistemic_data.plausibility_score}")
    print(f"Yanlılık İşaretleri: {prop.epistemic_data.bias_flags}")
    print("---")
```

## 🔧 Özelleştirme Seçenekleri

AEE Era birkaç şekilde özelleştirilebilir:

- **Makullük Bilgisi**: Doğrulayıcıyı alan-spesifik makullük kurallarıyla genişletin
- **Eş Anlamlı ve Zıt Sözlükleri**: Daha iyi ilişki tespiti için yerleşik sözlükleri genişletin
- **Güven Parametreleri**: Güven hesaplamasında farklı faktörlerin ağırlıklarını ayarlayın
- **Kaynak Güvenilirliği Eşikleri**: Kaynak güvenilirliğinin nasıl değerlendirileceğini özelleştirin

## 📋 Alıntı

Araştırmanızda AEE Era'yı kullanıyorsanız, lütfen şu şekilde alıntı yapın:

```
@software{aee_era_2025,
  author = {Abdullah Kocaman},
  title = {Otomatik Epistemoloji Motoru (AEE) - Era Sürümü: Epistemik Farkındalıklı Bilgi İşleme için Yenilikçi Bir Çerçeve},
  year = {2025},
  url = {https://huggingface.co/NextGenC/AEE},
  description = {Epistemik farkındalıklı bilgi çıkarımı, değerlendirmesi ve entegrasyonu için ilk kapsamlı sistem}
}
```