[ad_1]
Google은 AI 제품을 포함하도록 버그 포상금 프로그램을 확장했으며 윤리적인 해커에게 비용을 지불하여 기존 정보 보안 결함과 나쁜 봇 동작을 모두 찾아낼 것입니다.
초콜릿 공장에서는 버그 사냥꾼이 다섯 가지 범주의 공격을 탐색하기를 원합니다.
여기에는 공격자가 적대적인 프롬프트를 사용하여 대규모 언어 모델의 출력을 조작하여 이전 지침을 무시하고 완전히 다른 작업을 수행하는 프롬프트 주입과 같은 기술이 포함됩니다.
또한 목록에는 훈련 데이터 추출(기본적으로 민감한 정보를 유출하기 위해 훈련 데이터를 재구성하는 것)과 백도어 시스템 또는 중독된 훈련 데이터를 제공하여 모델의 동작을 변경하는 기타 모델 조작 공격도 있습니다.
또한 Google은 공격자가 보안 제어에서 오분류를 유발하기 위해 입력을 제공하는 적대적 섭동 공격과 최종적으로는 기밀 또는 독점 모델 훈련 데이터와 관련된 구식 데이터 도난에 대해 보상을 지불합니다.
버그가 취약점 보상 프로그램 페이지에 나열된 자격을 충족하는 경우 Google은 AI 제품에서 다른 결함을 찾는 데 비용을 지불할 수도 있습니다.
엔지니어 Eduardo Vela, Jan Keller 및 Ryan Rinaldi는 “보상 금액은 공격 시나리오의 심각도와 영향을 받는 대상의 유형에 따라 다르다는 점에 유의하는 것이 중요합니다.”라고 적고 잠재적인 버그 사냥꾼에게 이 보상 테이블을 안내했습니다.
Google이 자사 프로그램에 추가한 AI 관련 공격은 몇 년 전 광고 업계가 결성한 내부 AI 레드팀의 조사 결과를 바탕으로 선택되었습니다.
“완전히 새로운 TTP 세트가 있습니다. [tactics, techniques and procedures] Google Red Teams의 책임자인 Daniel Fabian은 이렇게 말했습니다. 레지스터 8월 라스베거스에서 열리는 해커 여름 캠프를 앞두고 인터뷰 중.
53%는 GenAI 도구를 ‘주요 목표’라고 부릅니다.
Google의 최신 버그 바운티는 HackerOne의 최신 연례 보고서에 따르면 커뮤니티 내 윤리적 해커 중 절반 이상(55%)이 생성 AI 도구가 가까운 미래에 “주요 목표”가 될 것이며 61%는 사용할 계획이라고 밝혔습니다. 실제로 취약점을 찾기 위해 AI를 활용하는 도구를 개발합니다.
HackerOne의 창립자이자 CTO인 Alex Rice는 “해커는 호기심이 많은 사람입니다. 그들은 최첨단 기술을 이해하고 싶어합니다.”라고 말했습니다. 레지스터.
라이스는 “틈새 시장을 개발하려는 노력이라기보다는 이 새로운 기술에 대해 더 많은 문제가 있을 것”이라며 “내 인생의 목적은 보안 문제를 찾는 것”이라고 말했다. “해커들은 모든 종류의 새로운 기술에 몰려들고 있으며 AI의 경우에도 확실히 그렇습니다.”
서비스형 버그 바운티 플랫폼에서는 이미 신속한 주입, 편견 탐지, 교육 데이터 오염 등을 전문으로 하는 취약성 사냥꾼이 일부 등장하고 있다고 라이스는 말했습니다.
후자의 경우 “AI에 거의 간접적”이라고 말하면서 훈련 데이터에 대한 접근이 훨씬 더 어려웠다고 설명했습니다. “갑자기 이러한 모델에 액세스가 필요하기 때문에 액세스가 조금 더 쉬워졌습니다. 여기에 액세스할 수 있는 데이터 과학자 팀이 있기 때문에 해커가 전문적으로 다루기 시작한 새로운 위험 범주가 열리게 됩니다.”
지난 달 플랫폼에서 활동하는 윤리적 해커 2,384명을 대상으로 실시한 설문 조사를 기반으로 한 HackerOne의 보고서에 따르면 응답자의 62%가 OWASP 대형 언어 모델 상위 10대에 특화할 계획이라고 답했습니다.
라이스는 “생성 AI 분야에서 상당히 다른 수준의 전문화를 보게 될 것이라고 생각한다”고 말했다. “생성 AI 전문가라고 불리는 사람들을 볼 수는 없을 것입니다. 생태계 내의 특정 영역을 전문으로 하는 사람들을 보게 될 것입니다.” ®
