/webodası
Teknoloji

KubeCon'un Ana Konusu Oldu: Yapay Zeka Ajansları

Uzmoon · · 2 dk

KubeCon'da yapay zeka ajansları üzerine birçok konuşma yapıldı. Bunların üretim ortamlarında kullanılabilmesi için hâlâ çözülemesi gereken birçok teknolojik sorun var.

KubeCon + CloudNativeCon North America etkinliği Salt Lake City'de yapıldı. Etkinlikte buluşanClear Cloud Native Computing Foundation (CNCF) yürütücüsü Jonathan Bryce, yapay zeka ajanslarının (AI agents) mevcut sistemlerdeki zorluklar ve gelecek hazırlıkları hakkında yol haritası çizdi.

Bryce, çok mevcut sistemlerin insan hızına uygun olarak tasarlandığını, ancak ajansların gösterdiği hız (agent speed) tamamen farklı bir senaryo olduğunu belirtti. Ajanlar, insanlar için tasarlanmış sistemlerle etkileşime girdiği için; mevcut altyapı ölçeklenebilirlik ve dayanıklılık sorunları yaşıyor. Bu, özellikle finans, sağlık ve taşıma gibi kritik sektörlerde sorunlar yaratabilir.

KubeCon'da CNCF'e katkıda bulunulan iki önemli proje görüldü. Nvidia'nın katkısı olan OpenShell ve Google'ın hediyesi olan Agent Substrate, entrambi Sandbox seviyesine girmiş projeler. OpenShell, ajanların erişebileceği dosyalar, ağlar, kimlik bilgileri ve model uç noktalarını düzenleyen politikaları zorlar. Agent Substrate ise ajanlar için Kubernetes üzerinde izole ortamlar sunar; askıya alınınan oturumları duraklatma ve geri yükleme yeteneği içerir. Bryce, bu projelerin altyapıdan güvenlik ve kontrol sağlamak için comunidade aid olduğunu belirtir.

Yapay zeka ajansları için donanım verimliliği konusunda da çözümler konuşuldu. LLM-D dağıtılmış çıkarım çerçevesi, mevcut donanımın daha verimli kullanılmasını sağlayan bir örneğe dönüştürüldü. Bunun yanı sıra, ajanın sadece ihtiyacına göre çalıştırılması ve askıya alınması (spin down/up) konusu kullanıcı deneyimi için kritik olarak değinildi. Bu sayede gereksiz CPU tüketimi önlenerek kaynak tasarrufu sağlanmaya çalışılıyor.

Güvenlik konusu da etkinlikte önemli bir yer aldı. Yapay zeka araçları ile açık kaynak sürücülerinde sıfır-dayık (zero-day) savunabilirlik artırabilir, ancak bu durum sürücülerini aşırmaya yönelik tekrar eden ve doğrulanmamış raporlarla bombalanmasına yol açtı. Bryce, bu çakışmanın 2027'deki model gelişiminine bağlı olarak arttığına dair bir tahminde bulundu.

Bryce, üretim ortamında ajansların kullanımı hâlâ erken aşamada olduğunu ve özellikle müşteri hizmetleri gibi bilgiler birikmiş alanlarda sınırlı kullanım olduğunu belirtti. Ajanların geniş ölçekte kullanılabilmesi için hâlâ topluluk hardening (donatma) projelerine zaman harcıyor. Kullanıcılar ve işletmeler, ajanların erişimine verilecek yetki ve olası hatalar konusunda yine de dikkatli kalıyor.

Kaynak: The New Stack

Yazının tamamını ve yorumları sitede aç