采集结果不得重复 只能判断前面几十个字？
这个不得重复只能判断前面几十个字？我采集了播放地址，想判断重复，但是好像播放地址太多就判断不了了
比如我采集了内容为：【优酷】播放1集2集3集4集5集6集7集8集9集10集11再采集【优酷】播放1集2集3集4集5集6集7集8集9集10集11集12集13集14集15集16集17集18集19集20集21集22集23集24集25集26集27集，判断为不重复，这个没问题。
但是如果才采集了内容为：【优酷】播放1集2集3集4集5集6集7集8集9集10集11集12集13集14集15集16集17集18集19集20集21集22集23集24集25集26集27集【风行】播放1集2集3集4集5集6集7集8集9集10集11集12集13集14集15集16集17集18集19集20集21集22集23集24集25集26集27集【qq】播放 1集2集3集4集5集6集7集8集9集10集11集12集13集14集15集16集17集18集19集20集21集22集23集24集25集26集27集【搜狐】播放 1集2集3集4集5集6集7集8集9集10集11集12集13集14集15集16集17集18集19集20集21集22集23集24集25集26集27集【华数TV】播放 1集2集3集4集5集6集7集8集9集10集11集12集在采集【优酷】播放1集2集3集4集5集6集7集8集9集10集11集12集13集14集15集16集17集18集19集20集21集22集23集24集25集26集27集【风行】播放1集2集3集4集5集6集7集8集9集10集11集12集13集14集15集16集17集18集19集20集21集22集23集24集25集26集27集【qq】播放 1集2集3集4集5集6集7集8集9集10集11集12集13集14集15集16集17集18集19集20集21集22集23集24集25集26集27集【搜狐】播放 1集2集3集4集5集6集7集8集9集10集11集12集13集14集15集16集17集18集19集20集21集22集23集24集25集26集27集【华数TV】播放 1集2集3集4集5集6集7集8集9集10集11集12集【土豆】播放 1集2集3集4集5集6集7集8集9集10集11集12集13集14集15集16集17集18集19集20集21集22集23集24集25集26集27集【芒果TV】播放 1集2集3集4集5集6集7集8集9集10集11集12集13集14集15集16集17集18集19集20集21集22集23集24集25集26集27集【暴风】播放 1集2集3集4集5集6集7集8集9集10集11集12集13集14集15集16集17集18集19集20集21集22集23集24集25集26集27集这时候就判断为重复了。本来显然是不一样的。
页:
[1]