자바2009.01.09 22:19

Sun이 작년(?)부터 Java SE for Embedded를 배포하고 있다. 점점 커지는 모바일 시장에서 한 몫 해보려는 모양이다. 지난달에는 심지어 ARM Linux 플랫폼을 위한 Java SE for Embedded 6u10 (early access)도 나왔다. 우연찮은 기회(업무 ^^)로 Java SE for Embedded 6u10 기반 ThinkFree Mobile 개발에 참여하게 되었는데, 몇 가지 주목할 만한 내용들이 있어 기록해둔다. 오늘은 일단 Click on Touch Screen에 대해서만.

일전에 기록해둔 것처럼 AWT의 mouse click event는 AWT native 구현체에서 발생이 되는데, 일반 desktop edition의 구현체는 pressed point와 released point가 동일한 경우에만 click event가 발생된다. 우리가 흔히 사용하는 마우스는, 클릭을 할 때 일부러 흔들지 않는 이상 pressed, released point가 다를 가능성이 희박하다. 따라서 의도대로 적절히 click을 행할 수 있다.

하지만 터치 스크린의 경우, 손가락 끝으로 스크린을 두드려야 되는데, 손가락 끝은 다른 도구(스타일러스 등)에 비해 면적이 넓은데다가 굴곡도 있고, 말랑말랑해서 자칫 pressed point와 released point에 차이가 생기게 마련이다(손톱은 그나마 좀 낫다). 그 차이는, 개인적인 측정에 의하면, 작게는 2~3 pixel부터 많게는 20~30 pixel까지 차이가 난다. 간혹 device driver나 OS가 똑똑하게 보정해 주는 경우도 있는 것 같지만, 그렇지 않은 경우라면 문제가 생길 수 있다.

테스트 결과 EJRE(JRE from Java SE for Embedded 6u10)에서는 x, y 좌표 중 하나라도 4 pixel 이상 차이나면 click event가 발생하지 않는 것으로 확인이 되었다. 4 pixel이라는 threshold는 외부 설정으로 변경이 가능한 것인지 아니면 단순 하드코딩된 값인지는 모르겠으나, 일단 불편한 default 값이긴 하다. 이 때문에 EJRE에서 사용자가 원하는 대로 click을 할 수 있도록 구현하려면 약간의 work-around가 필요하다. 내가 사용했던 방법은 대략 아래와 같이 AWT event를 꼬아버리는 방법이다.

Toolkit.getDefaultToolkit().getSystemEventQueue().push(new EventQuene() {
    @Override
    protected void dispatchEvent(AWTEvent event) {
        boolean dispatch = true;
        if(event instanceof MouseEvent) {
            // create and submit a mouse click event by
            // adjusted threshold about 16 ~ 32 pixels
            // between pressed and released point, and
            // execute some customizations by event id,
            // blah blah blah...
            ...
        }
        
        if(dispatch) {
            super.dispatchEvent(event);
        }
    }
});

물론 이런 식의 work-around는 몸에 해롭다. EJRE가 좀 더 유연해지면 얼렁 지워버리어야지. 그리고 위 코드가 동작했을 때의 결과는 아래 동영상으로 확인.


Easy Clicker from Yonghwan Cho on Vimeo.
신고
Posted by roguebean
자바2009.01.04 17:53

보통 AWT/Swing에서 발생되는 input event는 JVM을 호스팅하고 있는 OS의 native input event를 AWT native 구현체가 Java 객체로 변환하여 전달한 것이다. 그런데 Windows(win32)나 Linux(gtk) API에는 mouse click event가 따로 존재하지 않는다(고 알고 있다). 그러면 Java에서 사용되는 mouse click event는 어디서 생성된 것일까? 아마도 아래 OpenJDK 소스에서 답을 찾을 수 있을 것 같다.

MsgRouting AwtComponent::WmMouseUp(UINT flags, int x, int y, int button)
{
    MSG msg;
    InitMessage(&msg, lastMessage, flags, MAKELPARAM(x, y), x, y);

    SendMouseEvent(java_awt_event_MouseEvent_MOUSE_RELEASED, TimeHelper::getMessageTimeUTC(),
                   x, y, GetJavaModifiers(), clickCount,
                   (GetButton(button) == java_awt_event_MouseEvent_BUTTON3 ?
                    TRUE : FALSE), GetButton(button), &msg);
    ...
    if (!(m_mouseDragState & GetButtonMK(button))) { // No up-button in the drag-state
        SendMouseEvent(java_awt_event_MouseEvent_MOUSE_CLICKED,
                       TimeHelper::getMessageTimeUTC(), x, y, GetJavaModifiers(),
                       clickCount, JNI_FALSE, GetButton(button));
    }
    ...
}

Source:
https://openjdk.dev.java.net/svn/openjdk/jdk/trunk/jdk/src/windows/native/sun/windows/awt_Component.cpp

void
awt_canvas_handleEvent(Widget w, XtPointer client_data,
                       XEvent * event, struct WidgetInfo *winfo,
                       Boolean * cont, Boolean passEvent)
{
    ...

    switch (event->type) {
        ...
        case ButtonRelease:
            ...
            awt_post_java_mouse_event(client_data,
                                      java_awt_event_MouseEvent_MOUSE_RELEASED,
                                      (passEvent == TRUE) ? event : NULL,
                                      event->xbutton.time,
                                      modifiers,
                                      x, y,
                                      (jint) (event->xbutton.x_root),
                                      (jint) (event->xbutton.y_root),
                                      clickCount,
                                      FALSE, 0,
                                      button);

            if (lastPeer == client_data) {
                awt_post_java_mouse_event(client_data,
                                          java_awt_event_MouseEvent_MOUSE_CLICKED,
                                          NULL,
                                          event->xbutton.time,
                                          modifiers,
                                          x, y,
                                          (jint) (event->xbutton.x_root),
                                          (jint) (event->xbutton.y_root),
                                          clickCount,
                                          FALSE, 0,
                                          button);
            }
            ...
    }
}

Source:
https://openjdk.dev.java.net/svn/openjdk/jdk/trunk/jdk/src/solaris/native/sun/awt/canvas.c

그렇다. Release event 발생시에 몇 가지 조건만 맞으면 click event도 발생된다. AWT native 구현이 크게 다르지 않다면 다른 JRE도 대략 이러한 과정으로 click event를 생성하지 않을까 생각된다.

신고
Posted by roguebean
잡념2008.12.15 16:33

오랜만의 포스팅.

나는 현시대의 하드웨어/소프트웨어를 사용하면서 점점 User Interface에 불만을 가지게 되었다. 직관적이지 못하고, 불편하고, 복잡한 UI를 보고 있노라면 '한숨'이 나온다. 내가 Apple 제품을 좋아하는 가장 큰 이유는 그네들의 Human Interface 컨셉 때문이다. 적어도 내가 겪어본 User Experience 중에서는 가장 마음에 든다.

이러한 연유로 언젠부턴가 그런 생각을 하기 시작했다. OS 커널 위에 새로운 UI 스택을 만들어보고 싶다고(OS는 아마도 가장 접근하기 용이한 Linux를 선택하는 게 맞지 않나 싶다). 할아버지 할머니도 사용할 수 있는 그런 직관적인 UI. 아직 구체적인 기획은 없는 상태고 뜬구름 잡는 수준의 상상만 하고 있다.

이런 와중에, Apple에서 또 뭔가를 꾸미고 있다는 첩보를 접했다. 사람 기를 확 죽이는...

Apple working on 3D Mac OS X user interface

내가 상상하던 것과는 거리가 있지만, 이녀석들 참... 스마트한 친구들인 것 같다.

사실 내가 상상하는 컨셉은 오히려 이쪽에 가깝다.

Oblong's g-speak: the 'Minority Report' OS brought to life

해보고 싶은 건 많은데 항상 추진력이 걸림돌이다...(과연... 추진력만?ㅋ)

신고
Posted by roguebean

티스토리 툴바