SWSTAT - 소프트웨어통계포털

2018-013

소프트웨어안전 분야에서 공개소프트웨어 활성화 방안

권영환산업정책연구실 책임연구원
송지환SW기반정책·인재연구실 책임연구원
진회승SW기반정책·인재연구실 책임연구원

2019.04.26

10671

- 1. 제 목
- 소프트웨어안전 분야에서 공개소프트웨어 활성화 방안
- 2. 연구 목적 및 필요성
- 1) 필요성
- 공개소프트웨어는 제4차 산업혁명의 핵심 SW기술들인 인공지능, 빅데이터, 클라우드 분야의 기술혁신을 주도하고 있다. 또한 해외에서 자율주행 등 소프트웨어안전 분야 역시 공개SW의 활용하는 사례가 늘어나고 있다. 이에 반하여 국내에서는 SW안전 분야의 경쟁력 강화를 위한 공개SW 활용에 대한 논의조차 없으며 안전 확보를 위해서 공개SW를 활용할 수 없다는 의견이 다수이다.
- 하지만 공개소프트웨어 기반의 인공지능, 빅데이터 등의 기술들은 제4차 산업혁명과 맞물려 안전 분야에 영향을 주기 시작하고 있기 때문에 국내외 SW안전분야에서 공개소프트웨어 현황을 파악하고 소프트웨어안전 정책에 있어 활용할 수 있는 방안 마련이 필요한 시점이 되었다.
- 2) 목적
- 이 연구는 SW 신기술 분야인 인공지능, 빅데이터, 클라우드 분야에서 공개SW 동향을 알아보고, 공개SW가 SW안전 분야에서 어떻게 활용되고 있는지 살펴본다. 그리고 국내 SW안전 분야에서 공개소프트웨어 현황을 설문 조사를 통해 분석한 후에 SW안전 분야의 경쟁력 강화를 위한 공개소프트웨어 활용 방안 및 이를 활성화하기 위한 방안을 제시한다.
- 3. 연구의 구성 및 범위
- 이 연구는 총 6장으로 구성되어 있다.
- 제 1장은 서론으로 SW안전 분야의 공개SW 활성화 방안에 대한 연구의 배경, 필요성, 연구의 목적 및 연구 수행 방법을 제시한다.
- 제 2장은 이론적 배경으로 SW안전과 공개SW에 대해 살펴본다. 첫 번째로 SW안전 개념과 안전 확보를 위한 절차에 대해 살펴본다. 두 번째로 공개SW의 개념과 진화 과정에 대해 살펴본다.
- 제 3장은 SW 신기술 분야 및 SW안전 분야의 공개SW 동향을 살펴본다. 우선 인공지능, 빅데이터, 클라우드 등 제4차 산업혁명의 주요 SW 기술 분야에서 공개SW 동향을 알아보고 SW안전 분야인 자율주행 및 다른 분야들에서 공개SW 활용 동향을 해외를 중심으로 살펴보고 시사점을 제시한다.
- 제 4장은 국내 SW안전 분야에서 공개SW 현황을 파악하기 위한 설문 조사 결과를 소개한다. 해당 조사는 주요 안전 분야인 자동차, 철도, 항공(국방) 분야의 총 30개 기업들을 대상으로 해당 기업에서 SW안전 관련 업무를 수행하는 대상자를 선정하여 설문 조사를 하였다. 총 30명의 설문 대상자들을 설문 결과를 가지고 국내 SW안전 분야의 공개SW 현황을 분석하고 시사점을 제시한다.
- 제 5장은 국내 SW안전 분야의 경쟁력 강화를 위한 방안으로써 공개SW 활용방안과 활성화 방안을 제언한다. 우선 공개SW 활용 방안으로 설문 결과 SW 활용도가 높은 안전 요구사항 분석 및 테스트 관련 SW와 자율주행 관련 SW 개발을 공개SW 개발 방식을 활용할 것을 제안한다. 그리고 국내 안전 분야의 공개SW 활성화 방안으로 공개SW 바로 알기, 고급 SW 개발자 양성, 공개SW 거버넌스 구축 지원을 제안한다.
- 마지막으로 제 6장은 결론으로 연구 요약, 향후 연구 방향, 연구 한계점 등으로 마무리한다.
- 4. 연구 내용 및 결과
- 1) 기술 배경
- SW 기술은 이제 다양한 산업에서 널리 활용되고 있으며 특히 안전과 밀접한 산업에서도 활용되고 있다. 원자력, 철도, 항공, 자동차 같은 안전 산업들도 사고예방을 위한 안전 기술에 SW를 활용하고 있다. 반면에 SW가 이들 산업에서 활용되면서 SW 결함으로 인한 안전사고의 가능성이 상대적으로 늘어나고 있다. 자율 주행의 경우 기반의 인공지능 SW , 빅데이터, 클라우드 기술들이 자동차 산업에 활용되어 기술을 혁신하고 있다. 그 결과 자율 주행 시범 운행에서 안전사고가 이미 발생하였고 SW안전의 중요성을 인식시키는 계기가 되었다. 이에 SW안전 개념이 최근 등장하였고 SW안전 확보를 위한 개발 절차들이 등장하고 있다.
- 특히 제4차 산업혁명의 핵심 기술들인 인공지능, 빅데이터, 클라우드 등 SW신기술들의 확산은 각종 산업에 활용되어 인류 삶의 혁명적인 변화를 야기하고 있다. 이러한 SW 신기술 혁신의 배경에는 공개소프트웨어 개발 방식이 있다. 공개SW 개발 방식은 1980년대 자유SW 운동이 탄생하면서 개방⋅공유⋅협업의 정신을 SW 개발과 배포 과정에 도입하고자 등장하였다. 그리고 1990년대 말 오픈소스 개념이 등장하면서 공개SW 개발 방식이 상업적으로 활성화되기 시작하였고 구글, 아마존, 마이크로소프트, 페이스북 등 글로벌 IT 기업들의 생태계 조성 및 경쟁력 강화에 활용되기 시작하였다. 이러한 공개SW 개발 방식의 확산으로 인하여 공개SW 개발 방식은 SW 산업을 넘어 금융, 제조, 교육 분야에서도 활용되고 있다.
- 대표 그림 1: 2017년 깃허브 동향에 포함된 공개SW 활용 분야
  출처: 깃허브, GitHub Octoverse 2017
- 2) 국내외 연구 현황
- 최근에 급격히 중요해지고 있는 SW안전 분야의 경쟁력 강화를 위해서 SW산업의 기술 혁신을 주도하는 공개SW 개발 방식을 활용은 빠르게 기술 추격을 할 수 있는 기회를 제공해 줄 수 있다. 하지만 국내 안전 분야에서 공개SW가 어떻게 활용되고 있는지에 대한 국내 연구 자료는 매우 부족하고 특히 국내 안전 분야에서 공개SW 활용 현황 조사 자료는 전무하다.
- 따라서 SW안전 분야에서 공개SW 개발 방식을 활용을 위한 정책 수립을 위한 국내 현황 조사가 필요하다. 우선 국내외 현황 비교를 위해 해외는 인터넷 검색을 통한 문헌 조사로 SW 신기술 분야와 안전 분야의 공개SW 동향 조사를 수행하였고 국내는 기업들을 대상으로 설문 조사를 수행하여 보다 정확한 자료를 얻고자 하였다.
- 3) 해외 안전 분야 관련 공개SW 동향
- SW신기술인 인공지능, 빅데이터, 클라우드 분야는 현재 공개소프트웨어 개발방식을 가장 널리 활용되고 있는 분야이다.
- 인공지능 분야 중 공개SW 개발 방식이 가장 많이 활용되는 심층학습 분야의 경우 구글, 마이크로소프트, 아마존, 페이스북, 바이두 등 기업들이 텐서플로우, Accord.Net, CNTK, Mahout, Caffe 등의 공개SW프로젝트들을 주도하고 있다.
- 빅데이터 분야도 아파치 재단의 하둡 생태계를 국내의 삼성을 비롯한 많은 기업들이 활용하고 있으며 R 역시 CRAN(Comprehensive R Archive Network)에 등록된 무수한 패키지들을 윈도, 맥, 리눅스 등 다양한 환경에서 활용할 수 있도록 발전하였다.
- 클라우드 분야는 현재 공개SW를 상업적으로 가장 잘 활용되고 있는 분야로 아마존, 구글, 마이크로소프트 등은 공용 클라우드 서비스의 기능 개선 및 신규 기능 개발을 위해 오픈스택 재단과 클라우드파운드리 재단을 후원하거나 공개SW 개발 방식으로 개발된 도커, 쿠버네티스 같은 기술들을 활용하여 IT 인프라 시장의 변화를 야기하고 있다.
- 대표 그림 텐서플로우를 2: 활용한 인공 신경망 모델링
  출처: 텐서플로우 블로그
- 안전 분야 역시 공개SW 개발 방식을 활용하는 사례들이 늘어나고 있는데 대표적인 분야가 자동차 분야이다.
- 자동차 분야의 경우 2009년에 차량용 멀티미디어 플랫폼을 표준화하기 위해 설립된 GENIVI에서 공개SW 개발 방식을 도입하였고 2018년 현재 113개의 회원사를 보유하고 있다. 2013년 차량용 임베디드 리눅스를 개발하기 위해 리눅스 재단의 프로젝트로 설립된 AGL(Automotive Grade Linux)도 공개SW 개발 방식을 도입하여 차량용 운영체제와 프레임워크를 개발하고 있다. 2018년 도요타와 아마존이 공식 지원한다고 발표하고 차량용 기능안전 및 첨단 운전자 보조 기능을 개발하려고 하고 있다. 바이두의 아폴로 프로젝트는 기업이 주도하는 자율주행 프로젝트로 2017년 처음 공개되었으며 공개SW 개발 방식을 활용하여 2021년까지 완전 자율 주행 기능을 개발하려고 하고 있다.
- 대표그림 3: 아폴로 3.0 플랫폼
  출처: 바이두 아폴로
- 이 외에 철도 분야에서도 유럽 국가간 철도 제어 시스템의 호환성 제공을 위한 OpenETCS(European Train Control System) 프로젝트가 2015년까지 진행되었으며 항공 분야에서는 록히드 마틴이 SteamFlow라는 빅데이터 분석 플랫폼을 공개한 일부 사례들이 있다.
- 4) 국내 안전 분야 공개SW 현황
- 국내 안전 분야에서 공개SW 활용 현황을 파악하기 위해 자동차, 철도, 항공(국방) 분야별 10개의 기업들을 선정하여 총 30개 기업들의 SW안전 종사자들을 대상으로 설문 조사를 수행하였다. 설문 조사 내용은 설문 대상자들의 기본 정보, 국내외 제도 및 지침, SW 활용 현황, 공개SW 이해도, 공개SW 활용 현황 관련설문 문항들로 구성하였다. 이에 설문 결과를 소개하고 이를 분석하여 안전 분야 기업들의 공개SW 활용 현황에 대한 시사점을 도출하였다.
- 기본 정보로써 조사 대상 기업들의 규모는 세 분야를 모두 포함하여 대기업 9개, 중견기업 8개, 중소기업 13개로 대체적으로 고르게 선정되었다. 설문 대상자들의 담당 업무는 개발 업무 명 품질 24 , 관리 업무 4명, 개발 부서 관리자 2명으 로 안전 분야의 SW 관련 업무를 수행하며 해당 회사 근무 기간은 10년 이상에서 20년 미만이 9명, 5년 이상에서 10년 미만이 12명, 3년 이상에서 5년 미만이 12명이고 3년 미만은 1명에 불과할 정도로 회사 내부 상황을 잘 알고 있는 경력자들로 선정되었다.
- 안전 분야 기업들은 SW개발 시 안전 관련 표준 또는 사내 지침 준수를 문의하는 복수 응답 설문에 30개 기업들 중 국제 표준을 준수한다는 기업이 16개로 가장 많았고 국내 산업 규격 및 사내 지침을 준수한다는 기업들이 각각 10개였으며 인증을 받는다는 기업이 3개로 가장 적었다. SW안전성 확보를 위한 필요사항에 대한 중복 응답 설문에 안전성 분석과 테스트가 필요하다라는 의견이 각각 17개로 제일 많았다. 그리고 공개SW 관련 지침 및 조직 보유에 대한 설문에는 사내 지침이 있다는 응답이 8개였고 전담 조직이 있다는 응답이 4개로 안전 분야 기업들은 대체적으로 공개SW 관리를 하지 않고 있음을 알 수 있었다. 만약 SW안전 확보를 위한 R&D가 진행된다면 안전성 분석 및 테스트같이 안전 확보에 가장 필요한 분야로 지원할 필요가 있다.
- 대표그림 4: SW안전성 확보를 위한 필요사항 (복수 응답)
- 안전한 SW 개발을 위해 SW 활용 현황 관련 복수 응답 설문에 개발 단계에서 SW를 활용한다는 기업이 24개로 가장 많았고, 시험 도구 SW를 활용한다는 기업이 18개였고, 프로세스 지원 도구 SW를 활용한다는 기업이 14개이었고 요구사항 및 설계 도구를 사용한다는 기업이 각각 4개와 3개로 소수 의견이 있었다.
- 그리고 개발하는 시스템에서 공개SW를 활용 여부를 묻는 설문에는 11개의 기업에서 공개SW를 사용하고 있다고 응답하였고 16개 기업에서 사용하고 있지 않는다고 응답하였으며 모른다는 응답도 3개로 나왔다. 그리고 11개의 기업 중 1개를 제외한 10개의 기업에서 공개SW를 내부적으로 사용하고 있다고 응답하였다.
- 대표그림 5: 개발 시스템에서 공개SW 사용 현황
- 공개SW를 사용하는 이유에 대한 복수 응답 설문에 11개 기업 중 6개 기업에서 개발 리소스 절감을 선택했고 3개의 기업은 높은 자유도와 편의성이라고 응답하였다. 반대로 공개SW를 사용하지 않는 이유에 대한 복수 응답 설문에 16개 기업중 13개 기업이 기술 지원에 대한 제약을 선택했고 10개의 기업은 상용SW와 비교시 낮은 성능을 꼽았다.
- 국내 안전 분야 기업들의 약 1/3 정도만 개발 시스템에서 공개SW를 활용하고 있으며 그 이유는 개발 리소스 절감과 공개SW의 높은 자유도와 편의성 때문임을 알 수 있었다. 반대로 사용하지 않는 기업들은 기술 지원 제약 및 상용SW 대비 낮은 성능을 선택한 결과 국내 공개SW 활성화를 위해서는 개발자 역량 강화가 중요한 요소로 볼 수 있다.
- 안전 분야 기업들의 공개SW에 대한 이해도를 확인한 결과 30개 기업 중 잘 알고 있다는 응답은 1개였고 대부분 알고 있다는 응답은 4개에 불과했으며 개념정도 알고 있다는 응답이 개와 모름이라는 20 응답이 5개로 약 5/6 정도의 거업들이 공개SW에 대하여 거의 모르고 있다고 볼 수 있었다. 또한 라이선스 이해도를 묻는 설문에도 10명의 응답자가 모른다고 선택했으며 개념 정도만 알고 있다는 응답이 16명이어서 공개SW 이해도와 유사한 결과를 얻었다. 이를 토대로 생각하면 국내 안전 분야 공개SW 활용을 위해서는 1차적으로 공개SW에 대한 이해도를 향상시킬 수 있는 홍보 정책들이 선행될 필요가 있다.
- 대표그림 6: 기업 및 설문 응답자의 공개SW 개념 이해도
- 안전 분야 기업들을 대상으로 공개SW 현황 조사 대상자 30명에게 공개SW 교육(세미나 경험 유무에 대한 응답에 단지 3명만이 경험이 있다고 하였고 나머지 27명은 경험이 없다고 하였다. 그리고 공개SW에 대한 기업 인식에 관련된 설문에서 단지 5개의 기업만이 장려하고 있고 나머지 25개 기업 중 제약한다는 기업이 10개이며 관련 없거나 모르겠다라는 응답이 15개에 이를 정도로 공개SW에 대한 인식이 부정적이었다.
- 이러한 부정적인 인식과 달리 설문 응답자들은 기업 내부에서 공개SW 관리의 필요성에 대한 응답에 19명이 필요하다고 응답하였고 불필요하다는 응답은 단지 3명이었으며 모르겠다라는 응답은 8명이었을 정도로 공개SW 관리의 필요성을 인지하고 있었고 전반적으로 라이선스 교육, 공개SW 활용 방안에 대한 정보의 필요성도 인식하고 있었다.
- 따라서, 공개 활성화를 위한 정부 및 SW 공공기관에 대한 요청사항에 대한 복수 응답설문에 교육 및 세미나에 대한 응답이 24명으로 압도적으로 많았으며 공개SW 리스크 최소화가 6명이었고 나머지는 공개SW 관련 사이트 운영, 공개SW 기술 지원, 교육 자료 배포로 나왔다.
- 대표그림 7: 공개SW 관련 정부/관련기관에 대한 요청사항 (복수 응답)
- 5) 소프트웨어안전 분야 공개SW 활성화 방안
- SW안전 분야의 경쟁력 강화를 위해서는 공개SW 활성화가 필요하기 위해서 우선적으로 공개SW 개발 방식의 활용 방안을 제안한다. 공개SW 개발 방식은 개발 효율성, 최신 기술 도입, 기업 저변 확보, 기술 내재화, 인재 양성 등 다양한 장점들을 가지고 있기 때문에 SW안전 분야에서 공개SW 개발 방식을 활용한다면 기술 경쟁력과 산업 경쟁력 강화에 많은 도움이 될 수 있다.
- 우선 공개SW 개발 방식을 적용한 연구 개발 분야로 기존 분야에서 안전 확보에 가장 많이 필요하다고 응답된 안전성 분석 및 테스트 분야와 신규 분야에서 제4차 산업혁명의 주요 분야이면서 안전 분야에서 공개SW 개발 방식이 가장 활발한 자율주행 관련 분야를 선정하고 관련 연구 개발 사업을 추진할 필요가 있다. 이런 공개SW 개발 방식으로 SW안전 기술 내재화, 인재 양성, 기업 육성, 시장 확대 효과를 얻고 이를 토대로 미래 사회 안전을 확보함으로써 안전 산업 경쟁력 강화에 이바지할 수 있다.
- 대표그림 8: 안전 분야 공개SW 활용 방안
- 대표그림 9: 안전 분야 공개SW 활성화 방안
- 하지만 안전 분야에서 공개 활용 방안을 SW 성공적으로 수행하기에는 이번 설문조사 결과 국내 안전 분야의 공개SW 관련 기반(인식 부족, 개발자 부족, 관리부족)이 매우 부족하다. 따라서 안전 분야 공개SW 활용의 성공을 위해서는 안전분야의 공개SW 활성화 정책이 뒷받침이 필요하다.
- 우선적으로 공개SW 바로 알기를 위해 공개SW 사업화 방안, 해외 진출 방안, 라이선스 관련 정보 같은 정보 제공으로 공개SW에 인식을 제고할 필요가 있다. 다음으로 공개SW를 제대로 활용하고 공개SW 개발 방식으로 SW를 개발할 수 있는 고급 SW 개발자 양성이 필요하다. 마지막으로 공개SW를 안전하고 효율적으로 사용할 수 있는 환경을 제공하기 위한 공개SW 거버넌스 구축 지원이 필요하다.
- 5. 정책적 활용 내용 및 기대 효과
- 이 보고서는 안전 분야 경쟁력 강화를 위한 SW안전 기술 확보 정책과 SW안전기업 육성 정책 수립을 위한 기초 자료로 활용될 수 있다.
- SW안전 기술 확보 방안으로 공개SW 개발 방식을 활용하여 안전성 분석 및 테스트 SW 관련 기술 연구 개발 및 제4차 산업혁명의 주요 분야인 자율주행 관련기술 연구 개발을 제안하였다. 최근 SW산업의 기술 혁신의 중심인 공개SW 개발 방식을 활용함으로써 수준 높은 연구 개발물을 획득을 통한 기술 내재화, 인재 육성 등을 기대할 수 있다.
- SW안전 기업 정책의 일환으로 안전 분야의 공개SW 활성화하기 위한 공개SW 바로 알기, 고급 SW개발자 양성, 공개SW 거버넌스 구축 지원을 제안하였다. 이미 자동차 분야는 공개SW 활용을 통한 기술 혁신이 해외에서 시작하고 있기 때문에 새로운 산업 트렌드를 기업들에게 전파함으로써 기업 역량을 강화시키고 고급 인재를 공급함으로써 기업 경쟁력을 강화를 기대할 수 있다.
- 최종적으로는 SW안전 기술 확보와 SW안전 기업 육성을 통해 SW 중심의 자동화가 진행되는 제4차 산업혁명의 미래사회의 안전 확보에 기여할 수 있을 것이다.
Summary
- 1. Title
- Open Source Software Activation in Software Safety Fields
- 2. Study Needs and Objectives
- 1) Needs
- Open Source Software(OSS) is leading innovation in Artificial Intelligence(AI), BigData, and Cloud areas, which are the core SW technologies of the Fourth Industrial Revolution. In addition, there are more cases of using OSS in software safety field such as autonomous driving from abroad. On the other hand, there are many domestic opinions that there is no discussion about OSS utilization for enhancing competitiveness of SW safety field and OSS can not be used to secure safety.
- However, since OSS based AI and BigData technologies begin to affect the safety field in conjunction with the 4th Industrial Revolution, it is necessary to understand the status of OSS in domestic and overseas SW safety field. It is time to prepare plans to utilize OSS in software safety related policies.
- 2) Objectives
- This study examines the OSS trends in the AI, BigData, and Cloud fields in new SW technologies and examines OSS usages in SW safety field. After analyzing the status of OSS in domestic SW safety field through surveys, it proposes ways to utilize OSS to enhance competitiveness of SW safety field and suggests ways to activate them.
- 3. Composition and Scope of Study
- This study is consisted of 6 chapters.
- Chapter 1 presents study background, needs, objectives and methods for OSS activation methods in SW safety field as the introduction.
- Chapter 2 discusses SW safety and OSS as the theoretical background. Firstly, we discusses SW safety concepts and procedures for ensuring safety. Secondly, the OSS concepts and evolutionary process are examined.
- Chapter 3 discusses OSS trends in new SW technologies and SW safety fields. Firstly, we studies OSS trends in the main SW technologies such as AI, BigData and Cloud and then examines OSS trends in SW safety fields such autonomous driving and others.
- hapter 4 introduces the survey results to understand the OSS status in domestic SW safety fields. The survey was conducted on 30 companies in the automobile, railway and aeronautical (defense) fields of the major safety areas, by selecting the persons who will perform the SW safety related works. The survey results of 30 respondents are analyzed and the implications are presented.
- Chapter 5 suggests how to utilize and to enhance OSS in order to enhance competitiveness of the domestic SW safety fields. Firstly, we suggest using the OSS development method to develop analyzing SWs of the safety requirements and testing SW, and autonomous driving related SWs. Additionally, as a way to activate OSS usages in the domestic safety fields, we propose to inform OSS, to cultivate advanced SW developers, and to support the establishment of OSS governance.
- Finally, Chapter 6 concludes with the study summary, the future study direction, and the study limitations.

- 제1장 서론
- 제1절 연구 필요성 및 목적
- 제2절 연구방법
- 제2장 주요 개념
- 제1절 자소프트웨어안전 개요
- 제2절 공개소프트웨어
- 제3장 해외 공개소프트웨어 활용 동향
- 제1절 소프트웨어 신기술 분야
- 제2절 주요 안전 산업 분야
- 제3절 요약 및 시사점
- 제4장 소프트웨어안전 분야 공개소프트웨어 현황
- 제1절 설문 조사 수행 방법
- 제2절 설문 조사 결과
- 제3절 조사 결과 요약 및 시사점
- 제5장 소프트웨어안전 분야 공개소프트웨어 활성화 방안
- 제1절 공개소프트웨어 활용 방안
- 제2절 공개소프트웨어 활성화 방안
- 제6장 결론
- 제1절 연구 요약
- 제2절 한계점 및 향후 연구 방향
- Reference
Contents
- Chapter 1. Introduction
- Section 1. Study Needs and Objectives
- Section 2. Study Method
- Chapter 2. Main Concepts
- Section 1. Software Safety Overview
- Section 2. Open Source Software
- Chapter 3. Overseas Trends on Open Source Software Usages
- Section 1. Software New Technologies Areas
- Section 2. Main Safety Industry Areas
- Section 3. Summary and Implications
- Chapter 4. Open Source Softwares in Domestic Software Safety Fields
- Section 1. Survey Conducting Method
- Section 2. Survey Results
- Section 3. Summary and Implications
- Chapter 5. Methods of Open Source Software Activation in Software Safety Fields
- Section 1. Methods of Open Source Software Utilization
- Section 2. Methods of Open Source Software Activiation
- Chapter 6. Conclusion
- Section 1. Study Summary
- Section 2. Implications and Future Works
- Reference