Blog

Vibe Remote FSD v2.0 Technical Overview

1. 멀티 에이전트 & 원격 제어 (Remote Control)

• Troy Server 연동: 자체 개발한 Troy Server와 FSD(Full Self-Driving) 로직을 결합, Auth 기반의 에이전트 연결 제약을 극복했습니다.
• 복수 컴퓨터 제어: 한 곳에서 명령을 내리면 원격지에 연결된 여러 대의 컴퓨터(Mac, Win 등)가 동시에 작업을 수행합니다.
• 크로스 플랫폼 도구 제어: 로컬 앱의 한계를 넘어 Xcode, Antigravity 등 OS 전용 툴들을 원격으로 조작할 수 있습니다.

2. 비전 기반 레이아웃 분석 (X-Ray Vision)

• DOM 없는 세상의 DOM화: 웹의 DOM 구조에 의존하지 않고, PDF, 모바일 캡처, 일반 앱 화면 등 모든 시각적 요소를 레이아웃으로 구조화합니다.
• Machine Learning Vision: 아이패드나 아이폰의 비전 기능을 활용하여 시각 정보를 분석하고, 이를 기반으로 자동화 트리거를 발생시킵니다.
• 기기 간 워크플로우: 모바일 기기에서 캡처한 화면을 분석하여 원격 서버의 작업을 지시하는 하이브리드 워크가 가능합니다.

3. 네트워크 및 통신 아키텍처

• High-Speed Pipeline: **WebSocket(WS)**과 UDP 기능을 조합하여 원격 제어 시 발생하는 지연 시간(Latency)을 최소화했습니다.
• View & Control 분리: 원격 브라우저나 Native 환경에서 화면을 실시간 뷰잉(View)하고, 실제 조작(Control)은 별도의 독립 앱에서 처리하는 이원화 구조를 채택했습니다.

4. 리소스 최적화 및 상업화 가속

• 쿼터 우회 및 병렬 처리: 무료 계정들의 API 쿼터를 효율적으로 분배/사용하여, v0 등에서 디자인된 결과물을 빠르게 다운로드하고 Remix, Next.js 프로젝트를 Vite 환경으로 전환하는 등의 대규모 자동화 서비스를 즉시 구축할 수 있습니다.
• 자기 진화적 워크플로우: AI(Claude 등)가 스스로 입력창에 명령을 작성하고 다음 단계를 실행하는, 이른바 ‘AI가 AI에게 명령하는’ 루프를 구현했습니다.

현재 이 버전의 고도화를 진행중이고 IDE, 앱 모두 진행을 테스트가 끝나가고 있습니다. 그리고 원래 작업하던 Troy 서버와 클라이언트가 대부분의 작업을 처리하고 있어서 현재 작업하면서 업그레이드가 되고 있습니다

최근에 IDE 가 아니라 독자 맥, 윈도우 어플리케이션으로 클라우드 코드, ChatGPT의 Codex 가 양쪽 OS에 모두 출시 되었습니다. 그런데 여전히 딸깍 클릭하고 다음 단계를 기다렸다가 작업을 해야 합니다.

https://youtu.be/fxxs6v0C8Nc?si=3ylwoXClgsOizMOa

그래서 바이브코딩 하시는 분들에게 자율주행 FSD를 달아드리는 어플리케이션을 맥, 윈도우, 리눅스 버전의 앱을 만들었습니다. 출판사에서 별거 다 한다고 생각하시겠지만 일단 저희가 책을 내야해서 만드는 중입니다.

그런데 완전 자율주행을 시키려면 보안에 위험이 있을 수 있습니다. 그걸 저희 앱에서 승인 했다고 저희가 책임을 질 수 없어서 해당 부분에 대한 승인을 받지 않고는 배포하기 힘들다 생각합니다. 책임은 본인이 져야 하며 저희는 아무런 책임을 지지 않습니다. 설정을 쉽게 바꾸고 화면에 버튼을 클릭하게 만드는 아주 간단한 앱이지만 불편함을 없애 저녁에 잠을 편하게 주무실 수 있게 해드립니다.

본 애플리케이션은 Rust 기반의 고성능 시스템 제어 로직과 Tauri v2 프레임워크를 결합하여 구축된 크로스 플랫폼(Win/Mac/Linux) 자동화 도구입니다. 외부 IDE 플러그인이 아닌 독립형 데스크톱 어플리케이션으로 동작하며, 화면 픽셀 분석을 통한 인터랙션 자동화를 지원합니다.

1. 핵심 기술 스택 (Tech Stack)

• Framework: Tauri v2 + React (경량화된 바이너리 및 웹 표준 UI)
• Backend: Rust (메모리 안전성 및 저지연 시스템 제어)
• Screen Capture: xcap v0.8 (멀티 디스플레이 및 특정 영역 스캔 지원)
• Input Control: enigo v0.6 (Native Level의 마우스/키보드 이벤트 에뮬레이션)
• Image Analysis: image v0.25 (블록 기반 픽셀 분석 및 특정 색상 영역 검출)
• Styling: Tailwind CSS v4

---

2. 주요 기능 및 작동 원리

• 화면 인식 자동화: 전용 캡처 라이브러리(xcap)를 통해 실시간으로 화면 영역을 스캔하고, 지정된 색상 값(버튼 등)을 추적합니다.
• 프리셋(Preset) 시스템: Claude Code, ChatGPT Desktop 등 주요 AI 도구의 UI 패턴에 최적화된 사전 설정 값을 제공하여 복잡한 툴체인 설정 시간을 단축합니다.
• 비침습적 인터랙션: 대상 앱의 API나 소스 코드에 직접 접근하지 않고, OS 레벨의 화면 캡처와 입력 제어를 통해 독립적으로 동작합니다.
• 시뮬레이션 모드: 실제 마우스 클릭을 실행하기 전, 인식된 영역을 시각적으로 확인하여 오작동을 방지할 수 있는 테스트 환경을 제공합니다.

---

3. 워크플로우 (How it Works)

1. 영역 지정: 사용자가 화면에서 자동화가 필요한 버튼 영역을 드래그하여 스캔 범위로 설정합니다.
2. 색상 매칭: image 크레이트를 활용해 해당 영역 내 특정 색상 픽셀의 출현 여부를 감지합니다.
3. 이벤트 트리거: 조건 충족 시 enigo를 통해 해당 좌표로 마우스 커서를 이동하고 클릭 이벤트를 발생시킵니다.
4. 자율주행: AI 모델이 코드를 생성하고 ‘승인’ 또는 ‘다음’ 버튼을 띄울 때마다 사용자의 개입 없이 워크플로우를 지속합니다.

---

4. 면책 사항 (Security & Liability)

사용자는 반드시 시뮬레이션 모드를 통해 안전성을 검증한 후 실제 제어 모드로 전환해야 합니다.

본 앱은 시스템 제어 권한을 사용하며, 자동화 동작 중에 발생하는 모든 시스템 변경 및 보안 위험은 사용자 본인에게 귀속됩니다.

---

[동의 거부] : 블로그를 둘러보세요
[내용을 확인했으며, 모든 책임은 본인에게 있음에 동의합니다] : 다운로드

맥osx

https://disk.argo9.com/s/25f50864-0147-4537-b6de-814c122ae665

windows

https://disk.argo9.com/s/6e4fc60c-d73b-45eb-9b58-4c857e7b4785

https://disk.argo9.com/s/ff98bc2f-f7a8-4858-a1a2-472ffd0b8c28

---

페이스북에서 막은 브런치

오늘 게시글 삭제된게 저만 그런게 아닌가 봅니다. 난리들 났음

가두리양식장은 네이버인줄 알았는데…

특가 베스트를 보면 1900원, 2900원 이런 책들이 많습니다. 배송비 아끼려고 구매하는 책이기도 한데 어떻게 저런 가격으로 팔아서 얼마나 남지? 라고 할 때가 있습니다.

생각보다 매출은 높습니다. 제작비 600원이라고 해도 공급율 60% 1320원 720원이 남네요 그런데 엄청 많이 팔려서 판매 지수가 베스트셀러 만큼 높습니다.

결론은 서점에 다이소가 있습니다. 특가 라는 코너에 전략적으로 판매하는 출판사는 해당도서만 계속 출간하고 있고 어스본도 특가로 책을 내놓을 정도니 비싼 책도 확실히 약간의 할인이 있으면 특가코너 베스트셀러를 도배할 정도이긴 합니다.

책으로 누가 어떻게 돈을 벌까? 시리즈로 출판을 분석해봤습니다. https://bookfactory.kr/goods

⠀

몇년 동안 미니북을 만드는 준비를 했는데 그동안 미니북 만드는 업체 (제본소에서 항상막힘)를 못찾아서 양장에서 막히고 커팅도 막히고 너무 작은 책은 아트북을 만드는 방법밖에 없다는 결론을 냈습니다.

그래서 3D로 만들고 제작과 관련된 프로그램도 새로했고 그동안 가끔씩 올리던 3D 제본, 링, 양장, 무선 같은 방식 및 구성을 바꿔 미니북 제작 솔루션을 마무리중입니다.

제가 주로하던 스티커 칼선과 레이저커팅에서 아이디어를 새롭게 해서 중간 배접하는 부분도 다른 설계로 종이가 묶이게 했습니다. 다만 특허와 관련된 부분이라 올리지는 못하지만 꾸준히 뭔가를 만들던 일이었기 때문에 미니어처 만드는 분들과 저처럼 책 구매하면 미니북과 함께 전자책을 드릴려던 계획이 있는 출판사에 플랫폼화 할 생각이긴 합니다.

미리 이런 이야기를 하는 것은 출사표를 끝냈기 때문에 특허는 아주 오래 걸리고 반려될 수 도 있어서 다른 여러가지 방법을 사용해서 해자를 만들 생각인데 늘 그렇지만 중국이 비슷한거 만들면 또 망하겠죠?

하여간 진짜책을 읽을 수 있는 사이즈가 아니라 소장해서 내가 책장 한칸에 나만의 모든 책을 갖출 수 있게 만들 생각입니다. 표지는… 알아서 출력해서 쓰시면 될겁니다. ^^

저희 출판사에 절판된 책들을 기념으로 남겨볼 생각이기도 하지만 키홀더나 아크릴 같은 것과 달리 진짜 책 본문이 될 예정입니다. (글자가 안보여도)

내 방안의 책장에 색다른 기능 미니어처 책 + 책장

내 방안의 책장은 실제 앱으로 데이터를 받아 미니어처 책장을 만들어 꼽아놓을 수 있는 만들기 읽었던 책, 보고 있는 책, 보관용 책 앱 + 미니어처 책장 제작 시리즈입니다.

사실 진행한 것은 2019년인데 어느덧 세월이 많이 지났습니다. 실물이 아닌 물성을 포기하기 싫고 책장안에 더 작은 서가와 책장이 있게 할 생각입니다. 제본소 들락거리면서 알아본 결과 특정사이즈 이하에서는 작업효율이 떨어져서 제작이 불가하다는 판정을 받았습니다.

한동안 포기하고 있다가 이번에 서가관련 앱을 만들면서 그러면 미니어처 책장이 가능하지 않을까? 이번에는 DIY로 앱 사용자가 직접 만들 수 있고 표준 포맷으로 1/5 스케일 1/25 스케일 등등

기존의 책이 아니라 오리지널로 디자인한 시리즈의 책도 판매할 수 있게 아이템몰을 만들고 아예 미니북 이외에 전자책으로 새로운 것도 제작이 가능하게 책 열어보면 QR하나가 다시 앱을 호출하고 같은 책을 읽은 사람들과 공유할 수 있는 커뮤니티가 되게…

책장 안에는 다양한 상품이나 컬렉션용도의 제품도 있으니 그것도 수집하고…실제하지 않는 책도 만들고 미니어처로 놀 수 있게 DIY가 가능한 디자이너의 새로운 꾸미기 아이템 판매 앱을 구상하고 있습니다.

미니어처 명화 시리즈 책도 재쇄를 찍으면서 앱으로 구성을 바꾸고 있기는한데 하나하나 마무리 해보겠습니다.

미니어처 명화액자는 액자 안쪽으로 자석을 넣어서 만들 생각이었는데 그냥 다른 용도로 디자인을 했습니다.

https://bookfactory.kr/boards/funding/6849

책공장 1인출판 도서 등록

얼마전 서가 사진을 보면서 느낀게 온라인에 더 많은 페이지로 도서를 홍보해야겠고 제가 가진 기술을 적용해서 쇼츠 나 다른 미디어에 노출되게 자동화해볼 생각입니다.

도서 ISBN을 등록하시거나 Yes24의 도서URL을 등록하면 책공장 회원의 도서가 노출되게 작업을 해놨습니다.

카드뉴스를 만들거나 다른 것은 직접 잘 하실 것이라 생각해서 일단 서가 노출되는 책공장 페이지에 꾸준히 노출하면 서로 윈윈할 수 있지 않을까 합니다.

등록은 간단합니다. 구글로그인 -> 등록 -> 끝

앞으로 책공장에서 책홍보하는 기능을 더 많이 제공해볼 생각입니다.

저도 강의 사이트와 다른 기능을 고도화하고 책공장 모바일 앱을 준비중입니다. 주변 출판강의 들을만한 실제 출판사를 연결하거나 협업할 수 있는 일 그리고 이 전에 이야기했던 출판학교가 될 수 있게 작업중입니다.

늦지만 꼭합니다. 그러니 볼런티어로 함께 참여해주세요

https://bookfactory.kr/isbnregist

이번주에 계속 궁금한 것을 인포그래픽으로 만드는 작업을 하고 있습니다.

온라인서점 3사를 기준으로 합산해서 트랜드 변화를 알아내는 것을 하고 있는 중입니다. 저자는 인세로 얼마를 벌까? 에서 이번주는 출판사는 얼마나 많이 팔까? 입니다.

신학기가 왔어요 이투스가 왔어요 시장1위

신학기 시즌에는 이투스가 베스트 출판사 에스티유니타스, 해커스, YBM vs 문학동네, 민음사, 창비 이번주는 신학기참고서 vs 문학의 대결 중입니다.

흐름에 맞는 책을 출판해야 하는 출판사는 요즘에 문학을 하지 않으면 견디기 힘들겁니다. ^^;

꿈꾸는 책공장 | 출판 정보 플랫폼