캘리포니아가 인공지능 안전 규제를 다시 강화하는 방향으로 움직이기 시작했다. 개빈 뉴섬 주지사는 18일 주정부 기관들에 AI 안전 규제 권고안을 마련하도록 지시했다. 이번 조치는 특정 기업에 즉시 새로운 ‘킬 스위치’ 설치 의무를 부과한 완성된 법률이 아니라, 향후 입법·규제에 반영할 구체적인 방안을 주정부가 설계하도록 한 행정명령이라는 점이 핵심이다.
뉴섬 행정명령은 주정부운영청과 비상서비스국 등에 외부 안전평가, 기업 안전 프레임워크의 독립 검증, 긴급 상황에서 시스템을 중단할 수 있는 이른바 ‘킬 스위치’, 통제 상실 사고 보고 확대를 포함한 권고안을 검토하도록 했다. CalMatters는 권고안 제출 시한이 11월 16일이며, 결과가 특별회기나 후속 입법의 토대가 될 수 있다고 보도했다. 따라서 “캘리포니아가 킬 스위치를 의무화했다”는 표현은 현재 단계에서는 정확하지 않다.
이번 방향 전환은 캘리포니아가 대형 AI 모델의 안전·투명성을 둘러싼 규제 틀을 단계적으로 넓혀 온 흐름의 연장선에 있다. 주정부는 이미 대형 개발사의 안전 프레임워크 공개와 중대한 안전사고 보고를 요구하는 법을 시행하고 있지만, 모든 개발사에 제3자 평가나 비상중단 장치를 직접 요구하는 체계까지는 가지 않았다. 이번 행정명령은 그 간극을 어떻게 메울지 검토하라는 성격이다.
샌프란시스코와 실리콘밸리에 AI 기업이 집중돼 있다는 점에서 지역 영향도 크다. 향후 권고안이 입법으로 이어지면 OpenAI, Anthropic 등 대형 개발사의 안전평가 절차와 사고 보고, 외부 감사 비용에 영향을 줄 수 있다. 반면 규제 강도가 혁신과 투자에 어떤 영향을 줄지는 아직 정해진 바가 없다. 이번 조치 자체가 기업의 개발을 중단시키거나 특정 모델의 출시를 금지하지도 않는다.
정책 논쟁에서는 안전성과 산업 경쟁력의 균형이 쟁점이다. 뉴섬은 과거 더 강한 규제 법안을 거부하면서 혁신 위축 가능성을 이유로 들었지만, 이번에는 기술의 통제 상실과 사이버 위험에 대한 우려가 커진 만큼 감독 속도를 높이겠다고 밝혔다. 다만 행정명령에서 제시된 여러 요소 가운데 어떤 내용이 실제 법률로 채택될지, 기업 규모별 예외가 생길지, 외부평가 기관의 자격과 책임을 어떻게 정할지는 후속 절차에서 결정될 사안이다.
이번 새 전개의 의미는 규제의 ‘시행 완료’가 아니라 주정부가 외부평가와 비상중단 체계를 공식 정책 의제로 올리고 구체화 일정에 들어갔다는 데 있다. 캘리포니아 거주자와 현지 기업은 11월 권고안과 이후 주의회 논의를 지켜볼 필요가 있다.
현재 캘리포니아의 AI 규제는 하나의 법으로 모든 위험을 통제하는 구조가 아니다. 대형 모델 개발사의 공개 의무, 딥페이크와 선거·소비자 보호, 개인정보, 고위험 시스템 안전성 등이 서로 다른 법과 기관 권한에 나뉘어 있다. 이번 행정명령은 그 가운데 ‘통제 상실’과 대형 모델의 외부 검증을 별도의 안전 문제로 끌어올린다. 외부 평가가 법정 의무가 될 경우 평가 기준과 영업비밀 보호, 평가기관의 독립성, 사고 공개 범위가 실제 규제 비용을 좌우할 수 있다.
또 하나의 쟁점은 연방정부와 주정부 규제의 관계다. AI 규제에 관한 연방 기준이 통일되지 않은 상황에서 캘리포니아가 별도 기준을 강화하면 대형 기업은 주별 규제 차이에 대응해야 할 수 있다. 반대로 캘리포니아의 시장 규모 때문에 주 기준이 사실상 다른 지역의 기업 운영에도 영향을 주는 ‘캘리포니아 효과’가 나타날 가능성도 있다. 그러나 이번 행정명령 자체만으로 그런 결과가 확정됐다고 볼 수는 없다. 실제 적용 범위는 11월 권고안과 이후 입법 문안을 통해 확인해야 한다.
후속 확인 항목은 명확하다. 11월 권고안이 실제로 외부평가를 의무화할지, 적용 대상 모델의 규모 기준을 어떻게 정할지, 비상중단 장치의 기술적 정의와 책임 주체를 어떻게 설정할지다. 권고안이 나온 뒤에도 주의회 입법과 행정규칙 절차가 남을 수 있다. 따라서 현 단계의 가장 정확한 표현은 캘리포니아가 규제 설계를 시작했다는 것이다.
