initial utf-8 support

test.sh

@@ -38,6 +38,14 @@ a{5}
 (abc+){5}|[0-9]{1,}
 (abc+){5}|[0-9]{1,}
 b[^c]*
+۱۲۳۴۵۶۷۸۹۰
+[йцукен]
+日本語*
+([^ひらがな])|(な+)
+([^ひらがな])|(な+)
+([^abc])|(a+)
+[a-g]+
+[а-г]+
 "
 input="\
 abcdef
@@ -77,6 +85,14 @@ vbcvb
 abcabcabcabcabcabchsdfhsdh
 62374623
 djfjgjsdfjbshdhfhshd
+۱۲۳۴۵۶۷۸۹۰
+ке
+日本語語語語語語語本本本本
+なななな
+abc
+aaaa
+aaaabcdefghij
+ааааабвг...
 "
 expect="\
 (0,3)
@@ -116,6 +132,14 @@ expect="\
 (0,15)(12,15)
 (0,8)(?,?)
 (10,20)
+(0,20)
+(0,2)
+(0,27)
+(0,12)(?,?)(0,12)
+(0,1)(0,1)(?,?)
+(0,4)(?,?)(0,4)
+(0,10)
+(0,16)
 (0,0)
 "
 c=1