[카카오뷰 자동화] 카카오톡 자동 실행 후 채널 접속하여 신규 보드 정보 가져오기 2단계

결국엔 모바일에서 python 돌리는 것이라는 걸 알게 되었답니다. 다만 스크롤이나 이런 부분이 웹이랑 달라서 모바일 기능만 익히고 있다면 금방 구현 할 수 있습니다.

[카카오뷰 자동화] 카뷰 관리 자동화를 위한 appium 사용 맛보기 1단계

 

 

이번 시간에는 카뷰를 모바일에서 자동으로 실행하여 검색 기능을 통해 채널 접속 후 보드 정보 가져오는 방법 입니다. 한 채널의 1 보드를 예시로 작성하였습니다. 필요한 라이브러리 설치 방법은 다음 번에 다루도록 하겠습니다. 

필요 라이브러리 및 변수 선언 

from selenium.webdriver.common.by import By
from appium import webdriver
from time import sleep
import gspread
import emoji
import re
import json

 

파이썬의 필요한 라이브러리를 사용할 수 있도록 선언합니다.   변수 선언 및 채널 정보를 가져오도록 구글 스프레드 시트를 이용합니다.

#공유 채널 정보 가지고오기
channel_list = []

#채널별 보드 정보 가져오기 (제목, 보드 링크)
board_title_list = []
board_url_list = []

PAUSE_TIME = 0.1
LOADING_WAIT_TIME = 2


#구글 문서 사용하기 위한 INFO 파일
with open('/Users/program/info_mobile.json') as json_file:
    info = json.load(json_file)

---

APPIUM 기본 설정

caps = {}
caps["platformName"] = "Android"
caps["appium:platformVersion"] = "소프트웨어 버전"
caps["appium:deviceName"] = "휴대폰에 설정된 이름"
caps["appium:app"] = "APK 파일 경로"
caps["appium:automationName"] = "Appium"
caps["appium:newCommandTImeout"] = 300
caps["appium:appPackage"] = "카카오톡 패키지 명"
caps["appium:appActivity"] = "카카오톡 메인 Activity"
caps["appium:udid"] = "adb로 가져온 휴대폰 udid 값"
caps["appium:noReset"] = "true" #한 번 실행하여 인증 받으면 해당 정보를 유지
caps["appium:fullReset"] = "false" #초기화 설정 
caps["appium:ensureWebviewsHavePages"] = True 
caps["appium:nativeWebScreenshot"] = True 
caps["appium:newCommandTimeout"] = 3600 
caps["appium:connectHardwareKeyboard"] = True

driver = webdriver.Remote("http://0.0.0.0:4723/wd/hub", caps)

1. 안드로이드에서 카카오톡을 실행시키는 방법입니다.  자세한 가이드 링크 : https://appium.io/docs/en/writing-running-appium/caps/

2. 디바이스 udid 값 확인 방법

[android]로그 수집 하는 방법

 

 

보드 정보 가져오기

채널에 들어가서 보드정보를 가져오는 방법을 기재하였습니다. 

def newBoard(channelName):
    #금일 새로운 보드 00 ~ 23 (h 기준)	
    #보드 제목, url, 갯수 
    title = ""
    board_url =""
    count = 0
    
    #찾을 채널명
    print("\채널명 :", channelName)
    
    #카카오뷰 검색 버튼 클릭
    ele = driver.find_element(By.XPATH, value='//android.widget.TextView[@content-desc="검색 버튼"]')
    ele.click()
    sleep(LOADING_WAIT_TIME)
    
    #채널명 검색에 입력
    ele = driver.find_element(By.XPATH, value='/hierarchy/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout/android.widget.LinearLayout/android.view.ViewGroup/android.widget.LinearLayout/android.widget.LinearLayout/android.widget.EditText')
    ele.send_keys(channelName)    
    sleep(LOADING_WAIT_TIME)
    
    #검색된 결과에서 채널 클릭하여 카카오뷰 채널로 들어가기
    ele = driver.find_element(By.XPATH, value='//android.view.View[@content-desc="프로필 사진"][1]')
    ele.click()
    sleep(LOADING_WAIT_TIME)
    sleep(LOADING_WAIT_TIME)
    
    #채널에서 보드 탭 클릭
    ele = driver.find_element(By.XPATH, value='//android.widget.LinearLayout[@content-desc="보드"]/android.widget.LinearLayout/android.widget.TextView')
    ele.click()
    sleep(LOADING_WAIT_TIME)
    
    #신규 보드 여부 flag
    bValue = True 
    count = 0

    while bValue :
    	#보드에 몇시간 전 필드 가져오기
        ele = driver.find_element(By.XPATH, value='//android.widget.LinearLayout[@content-desc="' + channelName + ', 채널"]/android.widget.LinearLayout[2]/android.widget.TextView')
        sleep(LOADING_WAIT_TIME)
        time = ele.get_attribute("text")
        
        #23시간전 숫자 구분하기 (1일 전)
        replaceTime(text)
        
        print("작성 시간 : " , time)
        sleep(LOADING_WAIT_TIME)
    
    	#가져온 시간이 1일 전이 아닐 경우 보드 정보 가져오기
        #신규 보드 파악을 위한 조건문
       	if hour.isnumeric():
            ele_arry = driver.find_elements(By.ID, value='com.kakao.talk:id/title')
            sleep(LOADING_WAIT_TIME)        
            
            if len(ele_arry) == 4 :
                title = deEmojify(ele_arry[3].text)
            elif len(ele_arry) == 3 :
                title = deEmojify(ele_arry[2].text)
            else :               
                title = deEmojify(ele_arry[4].text)

            sleep(LOADING_WAIT_TIME)    
                
            xword = '//android.widget.FrameLayout[@content-desc="더보기, 버튼, ' + channelName + '"]/android.widget.ImageView'

            ele_link_arry = driver.find_elements(By.XPATH, value=xword)
            sleep(LOADING_WAIT_TIME)
            
            if len(ele_link_arry) == 2 :
                ele_link_arry[1].click()
            else :
                ele_link_arry[0].click()
            sleep(LOADING_WAIT_TIME)
            
            #복사한 보드 링크값 가져오기
            board_url = driver.get_clipboard_text()
            sleep(LOADING_WAIT_TIME)          
            sleep(LOADING_WAIT_TIME)
            
            #최종 신규 보드 수를 파악하기 위한 배열에 데이터 넣기
            board_title_list.append (title)
            board_url_list.append(board_url)
            
            #보드 수 카운트하기
            count = count + 1
            
            #콘솔에 로그 출력
            print(count , ".", channelName , "/ 제목 : " , title , " / 보드링크 : " + board_url) 
            
            title = ""
            board_url= ""
            
            # 채널에서 아래 보드로 가기 추후 계산식으로 변경 예정
            driver.swipe(start_x=650,start_y=2000,end_x=650,end_y=520)
            
            # 계산식 - 아래 정의
            # board_swipe()
            sleep(LOADING_SCROLL_WAIT_TIME)
            sleep(LOADING_SCROLL_WAIT_TIME)

        else :
        	#time이 1일 전일 경우 해당 채널 보드 탐색 종료
            bValue = False
            
            #현재까지 해당 채널에서 count한 보드 수 출력 
            print("\n 채널명 ", channelName,  ", 신규 보드 수 :", count, " Update 완료")

*title 가져오는 부분에  오류가 있어 추후 수정 예정입니다. 동작의 예시를 위한 샘플 코드라고 생각 부탁드려요. Appium Inspector로 확인해보니 Title element에 아래같은 설명이 있었다. XPATH를 사용하지 말라고 경고 문구가 있어 다른 방법으로 보드 제목을 가져와볼 예정입니다.

error Using XPath locators is not recommended and can lead to fragile tests.

반응형

MAIN 구현

저는 구글 라이브러리를 통해 여러개의 채널 정보를 가져오고 있지만, 1개 채널을 테스트 하고 싶을 경우 아래와 같이 수정하여 확인하시면 됩니다.

try:
    print("\nSTART...")

    #구글 시트에서 채널리스트 가지고와서 리스트 저장
    print("\구글 연동하여 공유 채널 정보 저장")
    googlelib()
    print("\n\저장 성공")
    
    defaultMain()

    #각 채널 별 신규 보드 가져오기
    print("\채널별 신규보드 가져오기")    
    for i in range(len(channel_list)) :
        newBoard(channel_list[i])
    print("\n\신규 보드 완료")
    
    print("\구글 시트에 값 저장")
    updateBoardList()
    print("\보드 정보 링크 저장 완료")

finally:     
    driver.quit()
    print("\nEND...")

*1개의 채널 테스트 코드

try:
	#각 채널 별 신규 보드 가져오기
    print("\채널별 신규보드 가져오기")    
    newBoard("채널명")
    print("\n\신규 보드 완료")
    
finally:     
    driver.quit()
    print("\nEND...")

여러개의 채널의 신규보드를 가져올 때 구글 스프레드시트를 활용하는 방법입니다. 추가 적인 부분이오니, 필요시 사용하셔요.

 

구글 스프레드 시트를 이용하여 카카오뷰 채널명 정보 가져오기

저는 구글 스프레드 시트에 총 N개의 채널명이 기재되어 있어 그 정보를 활용하여 카카오뷰 자동화 프로그램을 구현 중입니다.

def googlelib():
    # 구글 스프레드 시트 연동 , 개인 정보이므로 필요에 따라 응용하여 사용
    # google platform 인증 key file
    json_file_name = info["keyFile"]
    gc =  gspread.service_account(filename=json_file_name)

    #리스트 불러올 URL
    doc = gc.open_by_url(info["channel_list_doc"])
    worksheet = doc.worksheet(info["docName"])
    tempName = worksheet.range(info["member_kName"])
    tempURL = worksheet.range(info["ch_address"])


    for i in range(len(tempName)):
        if i > 0 and tempName[i].value !='' :
            channel_list.append(tempName[i].value)


    for i in range(len(tempURL)):
        if i > 0 and tempURL[i].value !='' :
            url_parse.append(tempURL[i].value)
    

    print("\채널: ", channel_list)
    print("\n 채널링크 : ", url_parse)

 

기타 필요한  함수

* remove_emoji 함수와 deEmojify 중 뭐 사용할지는 좀 더 확인 필요

글자에 이모지 지우기

def remove_emoji(text):
    return emoji.replace_emoji(text,replace='')

def deEmojify(text):
    regrex_pattern = re.compile(pattern = "["
        u"\U0001F600-\U0001F64F"  # emoticons
        u"\U0001F300-\U0001F5FF"  # symbols & pictographs
        u"\U0001F680-\U0001F6FF"  # transport & map symbols
        u"\U0001F1E0-\U0001F1FF"  # flags (iOS)
                           "]+", flags = re.UNICODE)
    return regrex_pattern.sub(r'',text)

스크린 사이즈 불러와서 swipe 하는 함수

def board_swipe() :
        #scroll size
        deviceSize = driver.get_window_size()
        screenWidth = deviceSize['width']
        screenHeight = deviceSize['height']
        startx = screenWidth / 2
        endx = screenWidth / 2
        endy = screenHeight * 2 / 9
        starty = screenHeight * 8 / 9

        print("start x :" , startx, " start y" , starty , "/end x ", endx , " end y ", endy)
        driver.swipe(start_x=startx,start_y=starty,end_x=endx,end_y=endy)

항상 카카오톡 친구 탭에서 검색하기

def defaultMain() :
    #채널 검색 버튼 
    sleep(LOADING_WAIT_TIME)

    ele = driver.find_element(By.XPATH, value ='//android.widget.RelativeLayout[@content-desc="친구 탭"]')
    ele.click()

    sleep(LOADING_WAIT_TIME)


    ele = driver.find_element(By.XPATH, value='//android.widget.TextView[@content-desc="검색 버튼"]')
    ele.click()

    board_title_list.append("보드 제목")
    board_url_list.append("보드 링크")

    sleep(LOADING_WAIT_TIME)

구글 스프레드 시트에 각 채널별 보드 정보 업로드하기

def updateBoardList() :
    json_file_name = info["keyFile"]
    gc =  gspread.service_account(filename=json_file_name)
   
    doc = gc.open_by_url(info["channel_list_doc"])
    worksheet = doc.worksheet(info["docName_update"])

    worksheet.clear()

    worksheet.insert_cols([board_title_list], col=1, value_input_option='RAW')
    worksheet.insert_cols([board_url_list], col=2, value_input_option='RAW')

카카오톡 보드 시간 추출("일 전"이 아닌 애들은 숫자만 추출하기)

def replaceTime(text) :
    
    reTime = text.replace("시간 전","")
    reTime = reTime.replace("분 전","")
    reTime = reTime.replace("수정","")
    reTime = reTime.replace(" ", "")

    return reTime

Python 소스가 준비가 다 되었다면, Appium 서버를 구동한 후에 실행 시켜 확인 할 수 있습니다.

 

[카카오뷰 자동화] 카뷰 관리 자동화를 위한 appium 사용 맛보기 1단계

 

9월 17일 소스를 조금 업그레이드 하여 보드 링크 가져오는 것에 성공했습니다. swipe를 해도, 링크가 중복되는 경우가 있어 unique로 한번 더 엑셀에선 걸러내서 사용 하고 있답니다. 한 90% 만족도를 가지고 있는 것 같아요. 문의 사항은 댓글 부탁드려요

동작 영상

영상 속 처럼 보드 링크를 복사하면 위 사진 처럼 구글 스프레드 시트에 업데이트 합니다. 현재 무료로 각 사이트별 키워드를 모아둔 웹페이지를 제공하고 있는데, 뷰 추천키워드도 업데이트 해야겠단 생각을 했습니다. 이제 모바일도 컨트롤 할 수 있어서 너무 좋네요.

이렇게 가져온 친구된 채널의 정보를 한번에 모아 볼 수 있어서 좋네요. 티스토리 게시글 작성 시에도 적극 반영해봐야겠어요. 예를 들면 좋아요가 많이 눌린 콘텐츠는 어떤게 있는지 제 친구 채널 중 Top5를 선별하거나 하는거죠!)

 

 

 

[모바일 매크로] 뉴스 URL 클릭 및 모바일 화면 캡쳐 자동화, 모바일 스크립캡쳐, selenium + appium + sc