资源区对特殊字符的处理

一. 对于url中可能出现的字符，要严格限制。

例如：相册，专辑

限制为：汉字，字母，数字，下划线。 字母，数字，下划线只限半角的。

汉字的范围限制为GBK标准的GBK/2 GBK/3 GBK/4中的所有汉字。不允许GBK中的非汉字字符（GBK/1）。GBK的码表见附件

二. 对于其它用户提交的内容，用户可以提交任意的内容 . 例如: 名人描述，图片库描述等等。

对于正常的ASCII字符和所有GBK范围内的汉字都正常存储。

对于所有GBK外的字符，由于没有合适的GBK表示，一律以实体的形式表示，例如 &#xxxxx; 实体可以正常浏览，但是如果编辑的话，就会看到实体的本来面目。

对于超长的实体，可能会出现截断的情况，出现&#xxx 的形式，可以容忍（如果用户反馈较多，则进行除里）。这类字符比较典型的情况是韩文.

三. 对于某些特殊字符（157个），这些字符的utf8编码与某些汉字的gbk编码重复，当这些符合单独出现时，会优先判断为对应的gbk汉字，导致判断失败，最常见的是 · , 例如，maria·sharapova，会被认为是 “maria路sharapova”

这种情况的解决是由ts保证都以utf8提交［资源区］，这样后端不进行编码的判断，用户提交,后台也能正常判断。

附：utf8编码与gbk编码重复的特殊字符。

1, /* 0xc2a4, gbk: 陇 utf8: ¤ */ 1, /* 0xc2a7, gbk: 搂 utf8: § */ 1, /* 0xc2a8, gbk: 篓 utf8: ¨ */ 1, /* 0xc2b0, gbk: 掳 utf8: ° */ 1, /* 0xc2b1, gbk: 卤 utf8: ± */ 1, /* 0xc2b7, gbk: 路 utf8: · */ 1, /* 0xc397, gbk: ?? utf8: × */ 1, /* 0xc3a0, gbk: null utf8: */ 1, /* 0xc3a1, gbk: 谩 utf8: á */ 1, /* 0xc3a8, gbk: 猫 utf8: è */ 1, /* 0xc3a9, gbk: 茅 utf8: é */ 1, /* 0xc3aa, gbk: 锚 utf8: ê */ 1, /* 0xc3ac, gbk: 矛 utf8: ì */ 1, /* 0xc3ad, gbk: 铆 utf8: í */ 1, /* 0xc3b2, gbk: 貌 utf8: ò */ 1, /* 0xc3b3, gbk: 贸 utf8: ó */ 1, /* 0xc3b7, gbk: 梅 utf8: ÷ */ 1, /* 0xc3b9, gbk: 霉 utf8: ù */ 1, /* 0xc3ba, gbk: 煤 utf8: ú */ 1, /* 0xc3bc, gbk: 眉 utf8: ü */ 1, /* 0xc481, gbk: ?? utf8: ā */ 1, /* 0xc493, gbk: ?? utf8: ē */ 1, /* 0xc49b, gbk: ?? utf8: ě */ 1, /* 0xc4ab, gbk: 墨 utf8: ī */

1, /* 0xc584, gbk: ?? utf8: ¨? */ 1, /* 0xc588, gbk: ?? utf8: ¨? */ 1, /* 0xc58d, gbk: ?? utf8: ō */ 1, /* 0xc5ab, gbk: 奴 utf8: ū */ 1, /* 0xc78e, gbk: ?utf8: ǎ */ 1, /* 0xc790, gbk: ?? utf8: ǐ */ 1, /* 0xc792, gbk: ?? utf8: ǒ */ 1, /* 0xc794, gbk: ?? utf8: ǔ */ 1, /* 0xc796, gbk: ?? utf8: ǖ */ 1, /* 0xc798, gbk: ?? utf8: ǘ */ 1, /* 0xc79a, gbk: ?? utf8: ǚ */ 1, /* 0xc79c, gbk: ?? utf8: ǜ */ 1, /* 0xc991, gbk: ?? utf8: ¨? */ 1, /* 0xc9a1, gbk: 伞 utf8: ¨? */ 1, /* 0xcb87, gbk: ?? utf8: ˇ */ 1, /* 0xcb89, gbk: ?? utf8: ˉ */ 1, /* 0xcb8a, gbk: ?? utf8: ¨@ */ 1, /* 0xcb8b, gbk: ?? utf8: ¨A */ 1, /* 0xcb99, gbk: ?? utf8: ¨B */ 1, /* 0xce91, gbk: ?? utf8: Α */ 1, /* 0xce92, gbk: ?? utf8: Β */ 1, /* 0xce93, gbk: ?? utf8: Γ */ 1, /* 0xce94, gbk: ?? utf8: Γ */ 1, /* 0xce95, gbk: ?? utf8: Δ */ 1, /* 0xce96, gbk: ?? utf8: Ε */ 1, /* 0xce97, gbk: ?? utf8: Ζ */ 1, /* 0xce98, gbk: ?? utf8: Θ */ 1, /* 0xce99, gbk: ?? utf8: Η */ 1, /* 0xce9a, gbk: ?? utf8: Κ */ 1, /* 0xce9b, gbk: ?? utf8: Λ */ 1, /* 0xce9c, gbk: ?? utf8: Μ */ 1, /* 0xce9d, gbk: ?? utf8: Ν */ 1, /* 0xce9e, gbk: ?? utf8: Ξ */ 1, /* 0xce9f, gbk: ?? utf8: Ο */ 1, /* 0xcea0, gbk: null utf8: */ 1, /* 0xcea1, gbk: 巍 utf8: Ρ */ 1, /* 0xcea3, gbk: 危 utf8: Σ */ 1, /* 0xcea4, gbk: 韦 utf8: Τ */ 1, /* 0xcea5, gbk: 违 utf8: Υ */ 1, /* 0xcea6, gbk: 桅 utf8: Φ */ 1, /* 0xcea7, gbk: 围 utf8: Φ */ 1, /* 0xcea8, gbk: 唯 utf8: Χ */ 1, /* 0xcea9, gbk: 惟 utf8: Ψ */ 1, /* 0xceb1, gbk: 伪 utf8: α */ 1, /* 0xceb2, gbk: 尾 utf8: β */ 1, /* 0xceb3, gbk: 纬 utf8: γ */ 1, /* 0xceb4, gbk: 未 utf8: δ */ 1, /* 0xceb5, gbk: 蔚 utf8: ε */ 1, /* 0xceb6, gbk: 味 utf8: δ */ 1, /* 0xceb7, gbk: 畏 utf8: ε */

1, /* 0xceb8, gbk: 胃 utf8: ζ */ 1, /* 0xceb9, gbk: 喂 utf8: η */ 1, /* 0xceba, gbk: 魏 utf8: θ */ 1, /* 0xcebb, gbk: 位 utf8: ι */ 1, /* 0xcebc, gbk: 渭 utf8: κ */ 1, /* 0xcebd, gbk: 谓 utf8: λ */ 1, /* 0xcebe, gbk: 尉 utf8: μ */ 1, /* 0xcebf, gbk: 慰 utf8: ν */ 1, /* 0xcf80, gbk: ?? utf8: π */ 1, /* 0xcf81, gbk: ?? utf8: ξ */ 1, /* 0xcf83, gbk: ?? utf8: ζ */ 1, /* 0xcf84, gbk: ?? utf8: η */ 1, /* 0xcf85, gbk: ?? utf8: υ */ 1, /* 0xcf86, gbk: ?? utf8: θ */ 1, /* 0xcf87, gbk: ?? utf8: χ */ 1, /* 0xcf88, gbk: ?? utf8: ψ */ 1, /* 0xcf89, gbk: ?? utf8: ω */ 1, /* 0xd081, gbk: ?? utf8: Ё */ 1, /* 0xd090, gbk: ?? utf8: А */ 1, /* 0xd091, gbk: ?? utf8: Б */ 1, /* 0xd092, gbk: ?? utf8: В */ 1, /* 0xd093, gbk: ?? utf8: Г */ 1, /* 0xd094, gbk: ?? utf8: Д */ 1, /* 0xd095, gbk: ?? utf8: Е */ 1, /* 0xd096, gbk: ?? utf8: Ж */ 1, /* 0xd097, gbk: ?? utf8: З */ 1, /* 0xd098, gbk: ?? utf8: И */ 1, /* 0xd099, gbk: ?? utf8: Й */ 1, /* 0xd09a, gbk: ?? utf8: К */ 1, /* 0xd09b, gbk: ?? utf8: Л */ 1, /* 0xd09c, gbk: ?? utf8: М */ 1, /* 0xd09d, gbk: ?? utf8: Н */ 1, /* 0xd09e, gbk: ?? utf8: О */ 1, /* 0xd09f, gbk: ?? utf8: П */ 1, /* 0xd0a0, gbk: null utf8: */ 1, /* 0xd0a1, gbk: 小 utf8: С */ 1, /* 0xd0a2, gbk: 孝 utf8: Т */ 1, /* 0xd0a3, gbk: 校 utf8: У */ 1, /* 0xd0a4, gbk: 肖 utf8: Ф */ 1, /* 0xd0a5, gbk: 啸 utf8: Х */ 1, /* 0xd0a6, gbk: 笑 utf8: Ц */ 1, /* 0xd0a7, gbk: 效 utf8: Ч */ 1, /* 0xd0a8, gbk: 楔 utf8: Ш */ 1, /* 0xd0a9, gbk: 些 utf8: Щ */ 1, /* 0xd0aa, gbk: 歇 utf8: Ъ */ 1, /* 0xd0ab, gbk: 蝎 utf8: Ы */ 1, /* 0xd0ac, gbk: 鞋 utf8: Ь */ 1, /* 0xd0ad, gbk: 协 utf8: Э */ 1, /* 0xd0ae, gbk: 挟 utf8: Ю */

1, /* 0xd0af, gbk: 携 utf8: Я */ 1, /* 0xd0b0, gbk: 邪 utf8: а */ 1, /* 0xd0b1, gbk: 斜 utf8: б */ 1, /* 0xd0b2, gbk: 胁 utf8: в */ 1, /* 0xd0b3, gbk: 谐 utf8: г */ 1, /* 0xd0b4, gbk: 写 utf8: д */ 1, /* 0xd0b5, gbk: 械 utf8: е */ 1, /* 0xd0b6, gbk: 卸 utf8: ж */ 1, /* 0xd0b7, gbk: 蟹 utf8: з */ 1, /* 0xd0b8, gbk: 懈 utf8: и */ 1, /* 0xd0b9, gbk: 泄 utf8: й */ 1, /* 0xd0ba, gbk: 泻 utf8: к */ 1, /* 0xd0bb, gbk: 谢 utf8: л */ 1, /* 0xd0bc, gbk: 屑 utf8: м */ 1, /* 0xd0bd, gbk: 薪 utf8: н */ 1, /* 0xd0be, gbk: 芯 utf8: о */ 1, /* 0xd0bf, gbk: 锌 utf8: п */ 1, /* 0xd180, gbk: ?? utf8: р */ 1, /* 0xd181, gbk: ?? utf8: с */ 1, /* 0xd182, gbk: ?? utf8: т */ 1, /* 0xd183, gbk: ?? utf8: у */ 1, /* 0xd184, gbk: ?? utf8: ф */ 1, /* 0xd185, gbk: ?? utf8: х */ 1, /* 0xd186, gbk: ?? utf8: ц */ 1, /* 0xd187, gbk: ?? utf8: ч */ 1, /* 0xd188, gbk: ?? utf8: ш */ 1, /* 0xd189, gbk: ?? utf8: щ */ 1, /* 0xd18a, gbk: ?? utf8: ъ */ 1, /* 0xd18b, gbk: ?? utf8: ы */ 1, /* 0xd18c, gbk: ?? utf8: ь */ 1, /* 0xd18d, gbk: ?? utf8: э */ 1, /* 0xd18e, gbk: ?utf8: ю */ 1, /* 0xd18f, gbk: ?tf8: я */ 1, /* 0xd191, gbk: ?? utf8: ? */